请问应该怎么读取DolphinDB的分布式表，能够最小占用内存啊

请教下dfs分区，用loadtable和where语句取数据，一样的语句，一会可以取出来一会显示Out of memory，这个是我哪里用错了吗？谢谢

trade = s.loadTable(tableName='stock_minute1_data',dbPath="dfs://minute_1")   
t1=trade.where("datetime<=temporalParse('20090201 15:00:00', 'yyyyMMdd HH:mm:ss')")       
df = t1.toDF()

0 条评论
分类：技术问答

默认排序时间排序

1 个回答

Jason Tang - 时序数据库技术支持 2021-05-11 14:22

这大概是out of memory的原因，社区版总共只有4G内存，这个数据集就有2.5G，还有很多工作内存的需要。
DolphinDB一般不是这种用法。如果只是把DolphinDB当数据库，客户端的query一次不要取这么大的数据。
最佳的用法是直接在DolphinDB中用sql处理原始数据，然后把结果输出。这样DolphinDB不需要一次把全部数据读出来，它可以处理比内存更大的数据。

请问应该怎么读取DolphinDB的分布式表，能够最小占用内存啊

1 个回答

相似问题