我写的业务大致是,通过读取csv,动态增加列,并追加数据。平台是基于dos的。
我现在实现的方式比较笨。寻求更好的方式
可以通过 parseExpr 将类型字符串解析为类型:
s = extractTextSchema("/hdd/data/finance/2021tick/20211130tick.csv")
t = table(10:0, s.name, each(x->parseExpr(x).eval(), s.type))
schema(t)
// output
chunkPath->
partitionColumnIndex->-1
colDefs->
name typeString typeInt extra comment
----------- ---------- ------- ----- -------
SecurityID INT 4
TradeTime TIMESTAMP 12
TradePrice DOUBLE 16
TradeQty INT 4
TradeAmount DOUBLE 16
BuyNo INT 4
SellNo INT 4
TradeIndex INT 4
ChannelNo INT 4
TradeBSFlag CHAR 2
BizIndex INT 4