如何提升行情文件入库效率

请教一下,如果行情数据以000001.XSHE.h5文件储存在本地,想要导入数据库,除了按顺序循环遍历几千份.h5文件,读取本地数据导入数据库外,有什么其他推荐的方法吗?想要提升入库的速度

请先 登录 后评论

1 个回答

wfHuang

  大量小文件入库场景,可以先load,再unionAll,一次append进去(append批量在500MB-1G)会效率比较高

请先 登录 后评论
  • 1 关注
  • 1 收藏,574 浏览
  • peter 提出于 2023-06-09 09:47