量化交易回测系列二:多因子Alpha策略回测

本系列文章将会介绍如何使用DolphinDB优雅而高效的实现量化交易策略回测。

本系列文章将会介绍如何使用DolphinDB优雅而高效的实现量化交易策略回测。本文将介绍在华尔街广泛应用的多因子Alpha策略的回测。多因子模型是量化交易选股中最重要的一类模型,基本思路是找到某些和回报率最相关的指标,并根据这些指标,构建股票投资组合(做多正相关的股票,做空负相关的股票)。多因子模型中,单独一个因子的个股权重一般实现多空均衡(市场中性),没有暴露市场风险的头寸(beta为0,所以称之为alpha策略),能实现绝对收益。多个因子之间相互正交,方便策略配置,实现回报和风险的最优控制。另外,相比于套利策略(通常可以实现更高的sharpe ratio,但是scale不好),多因子alpha策略有很好的scale,可以配置大量的资金。多因子Alpha策略在对冲基金中的使用非常普遍。

1. 生成因子

本文的重点是实现多因子Alpha策略的回测框架。因子不是重点,这部分通常由金融工程师或策略分析师来完成。为了方便大家理解,文章以动量因子、beta因子、规模因子和波动率因子4个常用的风险因子为例,介绍如何在 DolphinDB database 中实现多因子回测。

输入数据表inData包含6个字段:sym (股票代码), date(日期), close (收盘价), RET(日回报), MV(市值), VOL(交易量)

def genSignals(inData){
	USstocks = select sym, date, close, RET, MV from inData where weekday(date) between 1:5, close>5, VOL>0, MV>100000 order by sym, date
	update USstocks set prevMV=prev(MV), cumretIndex=cumprod(1+RET), signal_size=-sqrt(MV), signal_vol=-mstd(RET, 21)*sqrt(252) context by sym
	update USstocks set mRet = wavg(RET, prevMV) context by date
	update USstocks set signal_mom = move(cumretIndex,21)/move(cumretIndex,252)-1, signal_beta=mbeta(RET, mRet, 63) from USstocks context by sym
	return select sym, date, close, RET as ret, signal_size, signal_beta, signal_vol, signal_mom from USstocks where date>=1991.01.01
}

DolphinDB函数说明:

abs:取绝对值。

prev:把向量中的所有元素向右移动一个位置。

cumprod:计算累计乘积。

sqrt:计算平方根。

mstd(X, k):计算移动标准差。

wavg(X, k):计算加权平均数。

move(X, k):如果k为正数,则把向量的所有元素向右移动k个位置,如果k为负数,则把向量的所有元素向左移动k个位置。

mbeta(X, Y, k):计算普通最小二乘回归的系数估计。

genSignals 函数说明:

首先数据过滤,选择市值较高的股票在交易日中的数据。接着使用过滤后的数据计算4个风险因子:

  • 规模因子(signal_size):MV的平方根的相反数
  • 波动率因子(signal_vol):过去一个月的股价波动率的相反数
  • 动量因子(signal_mom):过去12个月(去除最近一个月)的动量因子
  • beta因子(signal_beta):利用过去三个月的数据计算个股跟市场的beta

2. 回测框架

多因子Alpha策略的回测框架包含3个部分。首先是在每个历史周期上,生成每个股票在每个策略上的权重。一个历史周期上的所有仓位可以成为一个tranche。然后根据tranche的持有时间,生成每一个股票在每一个tranche的每一个策略上每一天的仓位和盈亏。最后统计分析每个策略和所有策略的业绩。

2.1 计算历史周期的投资仓位

首先定义一个函数formPeriodPort计算一个周期(一天)的股票仓位。然后使用并行计算获得历史上每一个周期的投资仓位。

2.1.1 计算一天的股票投资组合

这一步的输入是每一个股票在不同因子上的值,输出是每一个股票在每一个因子上的投资权重。股票权重要满足两个条件:(1)一个因子中所有股票的权重和为零,也就是说多空均衡。(2)不同因子之间相互正交,也就是说第i个因子的权重wi和第j个因子的值sj的内积为0(i<>j)。为了实现上述目标,我们引入了因子矩阵(矩阵的每一列表示一个因子,每一行表示一个股票),并且将单位因子(所有元素均为1)添加到因子矩阵中。

实践中,还需要考虑的一个问题是,去除权重较小的股票。一个股票池有几千个股票,大部分的股票获得的权重很小,几乎可以忽略。我们定义了一个嵌套函数f来调整单个因子中股票的权重。

函数formPeriodPort的输入参数有3个:

  • signals 是由genSignals函数生成的数据表,包含8个字段:股票代码、日期、收盘价格、回报率和4个因子。
  • signalNames 是所有因子的名称,用向量表示。
  • stockPercentile 用于控制股票的数量。

函数的输出是一个数据表,存储一天的股票投资组合,包括4个字段:tranche, sym, signalIdx, exposure。

def formPeriodPort(signals, signalNames, stockPercentile){
	stockCount = signals.size()
	signalCount = signalNames.size()
	tranche = signals.date.first()
	
        //demean all signals and add a unit column to the signal matrix
	sigMat = matrix(take(1, stockCount), each(x->x - avg(x), signals[signalNames]))

	//form weight matrix. 
	transSigMat = sigMat.transpose()
	weightMat = transSigMat.dot(sigMat).inv().dot(transSigMat).transpose()[1:]

	/* form exposures. allocate two dollars on each signal, one for long and one for short
	   trim small weights. In practice, we don't want to trade too many stocks */
	f = def(sym, tranche, stockPercentile, signalVec, signalIdx){
		t = table(sym, signalVec as exposure, iif(signalVec > 0, 1, -1) as sign)
		update t set exposure = exposure * (abs(exposure) < percentile(abs(exposure), stockPercentile)) context by sign
		update t set exposure = exposure / sum(exposure).abs() context by sign
		return select tranche as tranche, sym, signalIdx as signalIdx, exposure from t where exposure != 0
	}
	return loop(f{signals.sym, tranche, stockPercentile}, weightMat, 1..signalCount - 1).unionAll(false)
}

DolphinDB函数说明:

size:返回向量中元素的个数

first:返回第一个元素

matrix:构建矩阵

transpose:矩阵转置

dot:矩阵或向量内积

inv:矩阵求逆

iif(condition, trueResult, falseResult):如果满足条件condition,则返回trueResult,否则返回falseResult。它相当于对每个元素分别运行if...else语句。

loop(func,args):高价模板函数,把函数func应用到参数args的每一个元素上,并将结果汇总到一个元组中。如果args包含三个k个参数,每个参数的长度是n,那么loop将运行n次。

unionAll:合并多个表


2.1.2 计算过去每天的股票投资组合

回测时使用 的数据量非常庞大,因此我们把数据放到内存的分区数据库中,然后使用并行计算。如果想要了解更多关于分区数据库的内容,可以参考DolphinDB分区数据库教程。我们把genSignals函数生成的数据保存到分区表partSignals中,一个分区表示一天。接着,创建一个分区表ports,用于保存计算出来的股票投资组合,一个分区表示一年。然后,使用 map-reduce函数,把formPeriodPort函数应用到每一天,把每个结果合并到分区表ports中。

def formPortfolio(signals, signalNames, stockPercentile){
	dates = (select count(*) from signals group by date having count(*)>1000).date.sort()
	db = database("", VALUE, dates)
	partSignals = db.createPartitionedTable(signals, "signals", `date).append!(signals)
	db = database("", RANGE, datetimeParse(string(year(dates.first()) .. (year(dates.last()) + 1)) + ".01.01", "yyyy.MM.dd"))
	symType = (select top 10 sym from signals).sym.type()
	ports = db.createPartitionedTable(table(1:0, `tranche`sym`signalIdx`exposure, [DATE,symType,INT,DOUBLE]), "", `tranche)
 	return mr(sqlDS(<select * from partSignals>), formPeriodPort{,signalNames,stockPercentile},,unionAll{,ports})
}

DolphinDB函数说明:

sort:把向量中的元素排序

database(directory, [partitionType], [partitionScheme], [locations]):创建数据库。如果directory为空,则创建内存数据库。

createPartitionedTable(dbHandle, table, [tableName], partitionColumns):在数据库中创建分区表。

datatimeParse(X, format):把字符串转换成DolphinDB中时间类型数据。

unionAll:合并表

type:返回数据类型的ID。

mr(ds, mapFunc, [reduceFunc], [finalFunc], [parallel=true]):map-reduce函数。


2.2 计算仓位和盈亏

这一步的任务是根据持有的仓位以及持有时间,生成每一个股票在每一个tranche的每一个因子上每一天的仓位和盈亏。首先定义一个嵌套函数来f来计算部分股票投资仓位的盈亏,接着把嵌套函数应用到所有股票投资组合(使用mr函数),计算所有股票投资组合的盈亏,并把结果保存到分区表pnls中。

函数caclStockPnL的输入参数包括:

  • ports: 每一天的投资组合表,包括4个字段 tranche, sym, signalIdx, exposure
  • dailyRtn:股票每天的回报表,包括3个字段 date, sym, ret
  • holdingDays: 股票持有的天数

函数的输出是股票的盈亏明细表,包括字段8个字段 date, sym, signalIdx, tranche, age, ret, exposure, pnl

def calcStockPnL(ports, dailyRtn, holdingDays){
	ages = table(1..holdingDays as age)
	dates = sort exec distinct(tranche) from ports
	dictDateIndex = dict(dates, 1..dates.size())
        dictIndexDate = dict(1..dates.size(), dates)
        lastDaysTable = select max(date) as date from dailyRtn group by sym
	lastDays = dict(lastDaysTable.sym, lastDaysTable.date)

        // define a anonymous function to calculate the pnl for a part of the porfolios.
	f = def(ports, dailyRtn, holdingDays, ages, dictDateIndex, dictIndexDate,lastDays){
		pos = select dictIndexDate[dictDateIndex[tranche]+age] as date, sym, signalIdx, tranche, age, take(0.0,size age) as ret, exposure, take(0.0,size age) as pnl from cj(ports,ages) where isValid(dictIndexDate[dictDateIndex[tranche]+age]), dictIndexDate[dictDateIndex[tranche]+age]<=lastDays[sym]
		update pos set ret = dailyRtn.ret from ej(pos, dailyRtn,`date`sym)
		update pos set exposure = exposure*cumprod(1+ret) from pos context by tranche, signalIdx, sym
		update pos set pnl = exposure*ret/(1+ret)
		return pos
	}

        // calculate pnls for all portfolios and save the result to a partitioned in-memory table pnls
	db = database("", RANGE, datetimeParse(string(year(dates.first()) .. (year(dates.last()) + 1)) + ".01.01", "yyyy.MM.dd"))
	symType = (select top 10 sym from ports).sym.type()
	modelPnls = table(1:0, `date`sym`signalIdx`tranche`age`ret`exposure`pnl, [DATE,symType,INT,DATE,INT,DOUBLE,DOUBLE,DOUBLE])
	pnls = db.createPartitionedTable(modelPnls, "", `tranche)
 	return mr(sqlDS(<select * from ports>), f{,dailyRtn,holdingDays,ages,dictDateIndex, dictIndexDate,lastDays},,unionAll{,pnls})
}     

DolphinDB函数说明:

dict(key, value):创建字典。

cj(leftTable, rightTable) :交叉连接两个表。

isValid:检查元素是否为NULL。如果不是NULL,则返回1,如果是NULL,则返回0。

ej(leftTable, rightTable, matchingCols, [rightMatchingCols]) :等值连接两个表。


3. 运行实例

我们以美国股市为例,运行多因子Alpha策略回测。输入的股票日数据表USPrices包含6个字段:sym (股票代码), date(日期), close (收盘价), RET(日回报), MV(市值)和VOL(交易量)。

//加载数据
USPrices = ...

holdingDays = 5
stockPercentile = 20
signalNames = `signal_mom`signal_vol`signal_beta`signal_size

//生成因子
signals=genSignals(USPrices)

//计算每天的股票投资组合
ports = formPortfolio(signals, signalNames, stockPercentile)

//计算盈亏
dailyRtn = select sym,date,ret from signals
pos = calcStockPnL(ports, dailyRtn, holdingDays)

//绘制四个因子的累计盈亏走势图
pnls = select sum(pnl) as pnl from pos group by date, signalIdx
factorPnl = select pnl from pnls pivot by date, signalIdx
plot(each(cumsum,factorPnl[`C0`C1`C2`C3]).rename!(signalNames), factorPnl.date, "The Cumulative Pnl of All Four Signals")

//绘制动量因子不同持仓日的累计盈亏走势图
pnls = select sum(pnl) as pnl from pos where signalIdx=0 group by date, age
momAgePnl = select pnl from pnls pivot by date, age
plot(each(cumsum,momAgePnl[`C1`C2`C3`C4`C5]).rename!(`C1`C2`C3`C4`C5), momAgePnl.date)

v2-ac679ce7bc4a064a67955ded11bb6ae0_720w.jpg4个因子的累计盈亏走势图v2-c2df96a2eca05bb989a47964ead4b2d9_720w.jpg动量因子的累计盈亏走势图

DolphinDB虽然是一个通用的分布式时序数据库,但因为内置极其高效的多范式编程语言,用于量化交易,开发效率非常高。上面的多因子回测框架,仅用了3个自定义函数,50余行代码。DolphinDB的运行效率更是惊人,对美国股市25年中市值较高的股票按日进行回测,最后产生的盈亏明细表包含1亿余条记录。如此复杂的计算量,在单机(4核)上执行耗时仅50秒。


4. 讨论

前面的回测框架,仅仅解决了多因子策略的一部分问题,也就是说单个因子中股票的配置。我们还有两个重要的问题需要解决:(1)多个因子之间,如何配置权重,平衡投资的回报和风险。(2)一个新的因子有没有带来额外的Alpha,换句话说,一个新的因子是不是可以有已经存在的多个因子来表示,如果可以,那么这个新因子可能没有存在的必要。下一篇文章,我们会介绍如何使用DolphinDB来回答上面两个问题。

0 条评论

请先 登录 后评论
Junxi
Junxi

73 篇文章

作家榜 »

  1. Junxi 73 文章
  2. wfHuang 5 文章
  3. liang.lin 5 文章
  4. mhxiang 4 文章
  5. admin 3 文章
  6. 代沟 2 文章
  7. alex 2 文章
  8. 柏木 1 文章