特征缩放:把数字放在平等的起跑线上

了解为什么在做聚类之前要把测量尺度不同的特征先做标准化,以及 SurgeFlow 如何用每个特征的中位数与离散程度做稳健缩放。

类别:机器学习

用大白话解释

想象你要用两项信息把人分组:身高(以厘米计,大约 170)和年龄(以岁计,大约 40)。如果你直接把原始数字相加,身高会压过年龄,纯粹只是因为它的数字比较大——即使年龄可能同样重要。特征缩放就是用来解决这个问题:在计算机比较之前,先把每个数字重新缩放,让它们都用同一种「大小的语言」说话。这是一个追求公平的步骤:它避免某一列数据只因为单位刚好产生很大的数值而主导全局。

它衡量什么

「特征」是描述一只股票的一列数据——例如一个介于 0 到 1 之间的比率,或一只 $2,000,000,000 的市值(市值 = 股价乘以股数)。许多模型衡量两只股票「相距多远」的方式,是把它们的各列数据组合起来,于是原始数值很大的那一列就会主导这个距离。缩放会把每一列相对于它自己的典型值与自己的离散程度重新改写,让某一列里的「一个大幅变动」可以和另一列里的「一个大幅变动」相提并论。 - 原始数据:股票 A 市值 = 2,000,000,000;比率 = 0.30 - 原始数据:股票 B 市值 = 2,000,001,000;比率 = 0.90 - 未缩放的距离会被那微不足道的 1,000 市值差距主导,反而忽略了很大的比率差距 - 缩放之后,0.30 对 0.90 的比率差异就会显现出来并被算进去

SurgeFlow 如何使用它

这个步骤是 ML「市场地图」标签页(/ml)的基础,该标签页把美股分成多个聚类并标记出异常的股票。在做任何分组之前,SurgeFlow 会对每个特征做稳健缩放:减去该列的中位数(中间值),再除以它的 IQR (四分位距——数据中间一半的离散程度)。之所以选择稳健缩放,是因为中位数和 IQR 对离群值以及稀疏、不完整的列都有抵抗力,不像平均数与标准差那样容易被少数极端值扭曲。缩放后的特征接着会喂进 PCA (主成分分析,把许多列压缩成少数几个摘要方向的步骤)以及产生地图的聚类。 - 居中:减去该列的中位数(典型值) - 离散程度:除以 IQR (中间一半的范围) - 抗离群值,所以单一个怪异数值不会扭曲整列 - 逐一特征进行,在 PCA 与聚类之前完成

如何在网站上解读

你不会去点一个「缩放」按钮——它在 ML「市场地图」标签页(/ml)背后的流程中悄悄地完成。你实际看到的是它的成果:股票被放进各个聚类,并标上异常标记,而其中每一列输入数据都被给予了公平的发言权。实务上的重点是:地图的分组反映的是横跨所有特征的平衡观点,而不是只看哪一列的原始数字最大。如果你曾纳闷为什么两只同样是巨型市值的股票仍会落在不同的聚类,原因就是缩放:那些数值较小的列之间的差异不再被淹没掉了。

它无法告诉你什么

缩放只是让各列在大小上可以相互比较——它并不决定哪些列重要、不证明任何东西有意义,也不预测收益。一个近乎常数的特征(对每只股票几乎都是同一个值)会在缩放之前先被剔除,因为除以一个接近零的 IQR 会把那一列微小的差异放大成绑架模型的噪声;剔除它并不会损失任何真正的信息,因为它本来就几乎没有变化。也别忘了更大的限制:ML 地图是描述性的,它呈现的是数据中的结构,而非买入或卖出信号。SurgeFlow 是研究与教育用途,绝非投资建议。 - 缩放平衡的是大小,并不排序重要性 - 近乎常数的列会被剔除(接近零的 IQR 会爆成噪声) - 站在平等的起跑线并不等于同等的相关性 - 聚类描述的是结构——它们不是预测,也不是建议