DolphinDB的map-reduce函数mr函数的入参ds,如何重新划分map过程的最小分区

我的场景是这样的,我的分区表是两层复合分区,第一层是时间维度按天分区,第二层是股票代码HASH分区,我现在想对多天的所有股票数据做map-reduce的计算,但是我想每个最小分区单位是1个股票,所以需要重新划分数据源的分区,请问有什么版本吗?

请先 登录 后评论

1 个回答

Jason Tang - 时序数据库技术支持

可以使用DolphinDB的repartitionDS函数满足上述需求,具体例子如下:

ds = repartitionDS(query=<select DateTime,SecurityID from loadTable("dfs://SH_TSDB_snapshot_MultiColumn", "snapshot") where date(DateTime) in 2021.12.01 2021.12.06 2021.12.07, SecurityID in `600021`603659>, column=`SecurityID, partitionScheme=`a`b)
def disctcode(t){
	r1 = select distinct(date(DateTime))  as date from t
	r2 = select distinct(SecurityID)  as SecurityID from t
	return r1,r2
}

timer{
a1,a2=mr(ds, disctcode, ,)
b1 = unionAll(a1,0,0)
b2 = unionAll(a2,0,0)
}
请先 登录 后评论