DolphinDB分布式表支持无损压缩,对插入的数据,默认就进行压缩,不需要配置。因此建议使用append!和tableInsert写入分布式表。savePartition一般用于写入本地磁盘库。
DolphinDB采用兼顾压缩速度和压缩率的LZ4压缩算法,其中对SYMBOL这种特殊的字符串类型,则先用字典压缩,再使用LZ4压缩。在实际生产环境中,磁盘数据的压缩率一般在20~25%左右。若同一列中的重复项越多,压缩率就越高。读取数据时,系统从磁盘读取需要的列,解压后加载到内存。DolphinDB采用增量压缩策略,每次只对新增数据进行压缩,因此批量写入有助于提升压缩效果。