loadTextEx导入数据失败

导入数据时,下面报错,如何处理:


db = database("dfs://snapshot_SH_L2_TSDB")  // 打开数据库连接
def transType(mutable memTable)
{
   return memTable.replaceColumn!(`DataTimeStamp,datetimeParse( "20221001"+string(memTable.DataTimeStamp),"yyyyMMddHHmmss.SSS"))
} schemaTB=extractTextSchema(dataFilePath)
update schemaTB set type = `TIMESTAMP where name ="DataTimeStamp";
tmpTB=loadTextEx(dbHandle=db, tableName=`snapshot_SH_L2_TSDB, partitionColumns=`DataTimeStamp`SecurityID, filename=dataFilePath,schema=schemaTB ,sortColumns = `SecurityID`DataTimeStamp,transform=transType );


127.0.0.1:9001 Server response: 'tmpTB = loadTextEx(db, "snapshot_SH_L2_TSDB", ["DataTimeStamp","SecurityID"], dataFilePath, , schemaTB, , transType, ["SecurityID","D
ataTimeStamp"]) => A value-partition column can't contain null values.'
请先 登录 后评论

1 个回答

Polly

此处导入数据的时候 schema 无需进行类型变更,loadTextEx 的过程中,数据先根据给定的 schema 导入内存,然后再基于该内存表进行 transform。由于您的数据时间列不包含日期列,因此不能指定为 TIMESTAMP。

请先 登录 后评论
  • 1 关注
  • 0 收藏,562 浏览
  • peter 提出于 2023-06-08 18:00