关于开启enableTableShareAndPersistence后如何取得流表的完整数据问题

定义了两张流表 quotes, res, quotes经过状态引擎计算后输出因子到res

对res开启了enableTableShareAndPersistence命令,参数如下:

enableTableShareAndPersistence(table=pankou_unshare,tableName=`res,asynWrite=false,cacheSize=100000)
向quotes 注入198182条数据,运行过程中不断查看res的行数, 先增长到90982 又掉成51172 最后变成97380
按我理解 这个res中的97380是一部分数据,还有一部分被持久化了?
怎么才能把res中的部分记录和持久化了的记录合起来,组成完整的res表(应为198182条数据, 和quotes一样)?
请先 登录 后评论

1 个回答

wale

enableTableShareAndPersistence 中有个cachesize参数,表示流数据表在内存中最多保留多少行。当流数据表的行数达到这个阈值cacheSize,前面一半的记录行会从内存中清理。

如果想得到持久化的数据,请用subscribeTablegetPersistenceMeta(table).diskOffset(当前磁盘上数据相对总记录数的偏移量)行开始订阅。

请先 登录 后评论
  • 1 关注
  • 0 收藏,795 浏览
  • ddbuserex 提出于 2022-07-22 15:06

相似问题