如何在DolphinDB中 LoadTextEx导入数据时,过滤无效数据?

在dolphindb里我准备用如下代码导入csv数据,但是导入过程中发现,csv文件中存在一些关键列为空,比如csv文件格式如下:

timestamp                       prc    vol   act
2020.02.01T00:00:01.000        0.01     1     s


我使用测试的导入代码如下

dbName = "dfs://db1"
path = "/data/test.csv"
if(existsDatabase(dbName)){
    dropDatabase(dbName)
}
db = database(dbName,VALUE,2019.09.04..2019.10.09)
loadTextEx(db, 'trade', 'timestamp', path)

导入后发现有一些数据的 act列为空,这些数据我有没有办法在导入过程中直接过滤掉?

请先 登录 后评论

1 个回答

Jason Tang - 时序数据库技术支持

在将数据导入数据库之前,若需要对数据进行预处理,例如转换日期和时间数据类型,填充空值等,可以在调用loadTextEx函数时指定transform参数。过滤act列空值,可试试下面代码:

def dataTrans(t){
 return select * from t where !isNull(act)
}
loadTextEx(dbHandle=db,tableName='trade', partitionColumns='timestamp',filename=path,transform=dataTrans)
请先 登录 后评论