大csv文件中date数据为int,加载时怎么转为date

请问以下情况怎么解决:我有一个超过30G的csv文件, 想用loadTextEx加载并存储到数据库,其中有一个字段‘date’为int类型,如20230731, 我想将其保存为 date类型(2023.07.31),请问怎么处理呢? 

请先 登录 后评论

1 个回答

Boye

在transform 中用 temporalParse 转一下,例如:

// 打开数据库连接
db = database("dfs://snapshot_L2_TSDB")  
//定义时间日期的格式转化使之与创建的库相匹配   按照日期和hash分区
def transType(mutable memTable)
{
   return memTable.replaceColumn!(`DataTimeStamp,datetimeParse( "20221001"+string(memTable.DataTimeStamp),"yyyyMMddHH:mm:ss.SSS"))
}
//导入
tmpTB=loadTextEx(dbHandle=db, tableName=`snapshot_L2_TSDB_t, partitionColumns=`DataTimeStamp`SecurityID, filename=dataFilePath,schema=schemaTB ,sortColumns = `SecurityID`DataTimeStamp,transform=transType );
请先 登录 后评论
  • 1 关注
  • 0 收藏,566 浏览
  • Alex 提出于 2023-06-30 09:10