如何快速批量将格式为.csv的股票交易数据导入DolphinDB

我有4000只格式为.csv的股票交易数据,想要快速写入到分布式表中,具体的文件储存方式如下:

attachments-2021-05-Z2sKYimE60a64d2a5dd39.pngattachments-2021-05-lPh526RG60a64d3087745.png如果用多线程或多进程,如何保证同一分区不被多个客户端同时占用?

请先 登录 后评论

1 个回答

Juntao Wang

建议用loadTextEx,在dolphindb导入很快。若要更快,可以多线程,用ploop,但要保证多个线程不要写入同一个分区。

行情数据通常可用时间和产品标识两个维度来进行分区。要保证同一分区不被多个客户端同时占用,可让每个客户端写入不同的时间分区,比如对按天的数据库,可一个线程写入第一天的数据,第二个线程写入第二天的数据,其他天的依次类推。

产品标识维度的分区可采用哈希、范围、值、列表等多种方法。范围、值、列表写入不同分区显而易见,若是hash分区,需要用hashBucket函数获取某只股票所在分区,比如

hashBucket(`00089020)

其中的20是按股票维度分区的分区数

请先 登录 后评论