如何信任(或不信任)一个回测
写给初学者的指南:认识那些会骗过回测的偏差,以及如何用健康的怀疑态度去解读结果。
类别:回测
用大白话解释
回测问的是:“如果我过去照这条规则操作,结果会怎样?”你拿一套策略,把历史重播一遍,看看那笔假想的钱会增长成什么样子。问题在于,要做出一个账面上看起来很出色、但其实从未真实发生过的回测,是非常容易的。整个本事就在于学会:哪些回测该信任、哪些该不信任。这篇文章就是一份常见陷阱的检查清单,并用一个个小例子来说明。 - 回测是对历史的“如果……会怎样”重播,而不是真实交易的记录。 - 一个漂亮的结果,可能只是一场意外、一个错误,或一场幻想。 - 信任一个回测,意味着去检查它是怎么建出来的,而不只是看它的收益。
它衡量什么
一个值得信任的回测,衡量的是某条规则在诚实、贴近现实的条件下会有怎样的表现。最大的敌人,是那些悄悄把“未来”泄漏进“过去”、或是隐藏了成本与失败的偏差。以下是几种主要的偏差,每一种都配上一个浅白的例子。请注意:几乎每一个陷阱,都会让结果看起来比现实更好,而不是更差。 - 前视偏差(look-ahead bias):用了你当时还不可能知道的信息。例如:回测一笔周一的交易,却用上了一份其实要到那周稍后才公布的财报。 - 幸存者偏差(survivorship bias):只测试那些今天仍然存在的公司,于是所有倒闭的公司都消失了,结果看起来过度乐观。 - 选样偏差(selection bias):刻意挑一段讨喜的时间窗,例如只测试 2010 到 2020 年,而跳过 2008 年。 - 数据窥探/p 值操纵(data snooping / p-hacking):尝试 200 条规则,只留下那条靠运气胜出的。让够多的人去掷硬币,总会有一个连续掷出 10 次正面。 - 过度拟合(overfitting):一条被调得太贴合过去的规则,结果是把噪声都背了下来;它在旧数据上闪闪发光,在新数据上却一败涂地。 - 幸存者偏差加上前视偏差,是最常把一个赔钱的点子变成假赢家的两种偏差。
SurgeFlow 如何使用它
SurgeFlow 的回测(Backtesting)标签页(/backtest/benchmark)把这些诚实控管放在最显眼的位置,集中在一个“测试假设(Test Assumptions)”面板里,让你不必盲目相信一个数字。它把测试的股票范围(universe)、测试期间、扣除的成本,以及已知的弱点都明明白白地讲出来。其中有两个区别最重要。样本内(in-sample)是指结果是在“用来设计这条规则的同一段历史”上量出来的;样本外(out-of-sample,OOS)则是指它是在“规则从未见过的、较晚的全新数据”上测试的,后者是强得多的证据。SurgeFlow 目前把它的因子回测标示为样本内(它显示“0 OOS”),而不是假装成别的样子。 - 时点对齐(point-in-time)的输入:它试图只使用每一个历史交易日当天能取得的数据,以降低前视偏差(并坦承非美国市场的日期较不可靠)。 - 交易成本:逐市场、买卖不对称的费用会被扣掉,所以头条收益是扣除成本后的净值,而不是毛收益的幻想。 - 幸存者偏差:公开标示出来,因为它的股票范围是用今天仍存活的名单重建的。 - 发布门槛:一个结果必须先通过诚实性检查才会被展示,而尚未成熟的数据会被标示为研究,而非定论。
如何在网站上解读
在你还没看收益之前,先从“测试假设”面板开始。检查这个结果是样本内还是样本外、是毛收益还是净收益,以及它需要多少交易量。周转(turnover)是指策略多常更换持股;高周转再加上真实成本,可能会悄悄把整个优势吃光。训练/验证/测试的切分(在一块数据上设计、在第二块上调参,只在第三块完全没碰过的数据上评判)以及前推测试(walk-forward testing,反复在过去数据上重新拟合,再检查紧接着的下一期)是黄金标准,也是随着因子历史累积、SurgeFlow 所指向的方向。 - 找出毛收益与净收益(gross-vs-net)的标示:毛收益忽略成本,净收益才是你实际能留下来的。 - 看周转数字:交易越多,成本拖累越大。 - 在各项指标附近,寻找样本内/样本外(in-sample / OOS)的标签。 - 把面板里的任何告诫(caveat),都当成整页中最重要的文字。
它无法告诉你什么
即使是一个干净的回测,也无法保证未来。市场会改变,人群会抄袭好点子直到它失效,而下一个十年也很少会跟上一个十年押韵。回测是关于“过去在特定假设下”的证据,而不是对未来的预测。要特别提防三种混淆:过去的表现不是预测;相关性不是因果关系(两件事一起变动,不代表彼此互为因果);统计显著性不等于经济上的重要性(一个“真实”的效果,在扣除成本后仍可能小到无关紧要)。以上这些都不是买入或卖出的建议。 - 初学者的信任检查清单:它是样本外,还是只有样本内? - 收益是否已经扣除了符合现实的交易成本(净收益)? - 它是否包含了那些已经倒闭的公司(没有幸存者偏差)? - 这条规则会不会不小心用到了未来的数据(前视偏差)? - 在这个赢家出现之前,试过了多少种变化(p 值操纵)? - 在更高的成本与不同的时间窗下,这个优势是否还能存活?