PCA:把众多数字压缩成少数几个

了解主成分分析 (PCA) 如何把众多相互重叠的市场变量挤压成少数几个“成分”——以及为什么这些成分跟经济因子并不是同一回事。

类别:机器学习

用大白话解释

想象你针对每一只股票测量了 30 项东西——它的价格变动、成交量、规模等等。这些数字当中有许多是一起移动的,所以很多信息其实是重复的。主成分分析 (PCA) 是一种数学技巧,能把所有这些相互重叠的数字压缩成寥寥几个全新的汇总数字,称为成分,同时尽量少丢掉真正有用的信息。可以把它想成把一本厚书浓缩成几句话,却仍抓住大部分的情节。稳健 PCA (Robust PCA) 是一种变体,它把数据拆成两部分:一个是多数股票共有的平滑共同结构部分,加上一个独立的、稀疏的部分,用来容纳少数几个极端的离群值,这样一小撮极端的名字就无法扭曲那些汇总方向。

它衡量什么

PCA 测量的是变异——也就是数据分散的程度——并找出数据变异最大的那些方向。第一个成分抓住单一最大的变异模式,第二个成分抓住次大的(第一个没抓到的)变异,依此类推。“保留 90% 的方差”意思是我们保留足够多的成分,以便保住总分散度的 90%,其余的当作噪声丢掉。 - 小例子:假设身高和臂展几乎总是很接近(高的人手臂也长)。 - PCA 不会把两个数字都存起来,而是做出一个成分“整体身材大小”,它抓住了人与人之间约 95% 的差异。 - 你从 2 个数字降到了 1 个,几乎没丢掉什么——这就是降维。 - 载荷 (loading) 是每个原始特征对某个成分的贡献有多大(这个方向的“配方”);得分 (score) 或成分值则是某一只特定股票落在这个方向上的哪个位置——这两者很容易搞混。

SurgeFlow 如何使用它

PCA 是 ML“市场地图”标签页的底层基础。SurgeFlow 取用每只股票的众多相关特征,跑 PCA,并保留足够多的成分以保住约 90% 的方差——这就得到数据的一个精简、噪声较少的版本。接着它在这个被压缩过的空间里把股票分组(聚类),并另外把重建误差——也就是被保留的成分对某只股票描述得有多差——当作一种异常信号:一只不符合共同模式的股票会凸显出来。SurgeFlow 的异常分数把这个重建误差与每只股票到它所属聚类质心的距离结合起来。(这在概念上跟学术上的“稳健 PCA”(Robust PCA) 技术相关——后者把数据拆成共有的低秩结构加上稀疏离群值——但 SurgeFlow 用的是普通的 PCA,而不是稳健 PCA。) - 压缩:把众多特征降到少数几个成分(保留约 90% 方差)。 - 分组:在这个较小的空间里把股票聚类。 - 标记离群值:较大的重建误差=(多个之一的)一个异常提示。

如何在网站上解读

打开 ML 标签页(位于 /ml 的市场地图)。你会看到股票被分组成聚类,以及部分名字被标记为异常。把一个聚类读成“这些股票在这段期间以结构上相似的方式表现”,把一个异常标记读成“这个名字不符合一般的共同模式——值得人工进一步细看”。成分本身是汇总用的坐标轴,不是你要据以行动的价格或分数。 - 聚类是按照共有结构把股票分组,而不是按质量或预期收益。 - 异常标记是一个去调查的提示,绝不是自动的买入或卖出。 - 标签与分组会随着新数据到来而改变。

它无法告诉你什么

这是最重要的一节。PCA 成分并不会自动就是经济因子——一个成分只不过是变异最大的方向,所以把成分 1 叫做“价值”或“动量”是人为的猜测,可能是错的。PCA 描述的是数据中的结构;它并不预测未来收益,也不提供买卖信号,而且一个干净利落的聚类完全不能告诉你哪些股票会上涨。结果也取决于数据是如何被缩放的、以及纳入了哪些特征,而且离群值如果没有小心处理,可能会扭曲那些成分。 - 成分是数学上的,不是真实世界的成因——相关性不等于因果关系。 - 保留 90% 方差是一种选择,不是定律;换一个截断点就会改变整幅图像。 - 重建误差标记的是“不寻常”,而不是“坏”或“机会”。 - 仅供描述之用——这是研究与教育,不是投资建议。