单机服务器集群256G的内存现在加载数据,大概1天3亿条数据,总共一年数据加载到内存中会失败,错误提示是 ”OUT OF MEMORY“,应该做什么处理?
如果license中的内存使用限制是大于256G的,单节点的配置文件(dolphindb.cfg)中的最大内存配置参数maxMemSize设置了256G,那么单次加载到内存的最大数据量是256G(在内存完全空闲的情况下),如果大于单词加载到内存的数据大于256G,就会出现OOM的错误提示,加载任务会失败。如果是大数据量的处理,可以使用DolphinDB的mr函数,充分利用DolphinDB的Map-Reduce分布式计算框架。