将历史数据从hdfs导入dolphindb时,spark和dolphinDB hash分片逻辑不一致会导致,分区事务冲突而导致写入失败。
1. 有无处理办法?比如怎么让spark分片逻辑和dolphindb分区hash逻辑保持一致。
可以先将spark的数据写入DolphinDB 流表,然后通过订阅写入至DFS表。