5 dolphidb如何一次性把大批量数据加载到内存处理

单机服务器集群256G的内存
现在加载数据,大概1天3亿条数据,总共一年数据
加载到内存中会失败,错误提示是 ”OUT OF MEMORY“,应该做什么处理?

请先 登录 后评论

1 个回答

chenweijian

如果license中的内存使用限制是大于256G的,单节点的配置文件(dolphindb.cfg)中的最大内存配置参数maxMemSize设置了256G,那么单次加载到内存的最大数据量是256G(在内存完全空闲的情况下),如果大于单词加载到内存的数据大于256G,就会出现OOM的错误提示,加载任务会失败。如果是大数据量的处理,可以使用DolphinDB的mr函数,充分利用DolphinDB的Map-Reduce分布式计算框架。

请先 登录 后评论