spark导入dolphinDB并发冲突

将历史数据从hdfs导入dolphindb时,spark和dolphinDB hash分片逻辑不一致会导致,分区事务冲突而导致写入失败。

1. 有无处理办法?比如怎么让spark分片逻辑和dolphindb分区hash逻辑保持一致。

请先 登录 后评论

1 个回答

peter

可以先将spark的数据写入DolphinDB 流表,然后通过订阅写入至DFS表。

请先 登录 后评论
  • 1 关注
  • 0 收藏,757 浏览
  • wfHuang 提出于 2022-09-06 16:39