数据去重时out of memory

在DolphinDB database中,dailybar_stock表已经加载到内存,想再做个去重,这个表是八千多万条记录,占1.4GB内存.运行下列语句时OOM(用的server节点是8G内存限制)。

dailybar_stock=select * from dailybar_stock where isDuplicated([symbol,date],FIRST)=false

请教一下,是否还有别的占用较少内存的办法可以去重?

请先 登录 后评论

1 个回答

Jason Tang - 时序数据库技术支持

可改用下列sql试试:

select top 1 * from t context by date,sym

hashmap比较耗内存。这个context by使用排序算法,节约内存。

请先 登录 后评论