PCA: veel getallen samenvatten in een paar
Ontdek hoe hoofdcomponentenanalyse (PCA) veel overlappende marktvariabelen samenperst tot een paar “componenten” – en waarom die niet hetzelfde zijn als economische factoren.
Categorie: Machine learning
In gewone taal
Stel dat u voor elk aandeel 30 dingen hebt gemeten: de koersbewegingen, het handelsvolume, de omvang, enzovoort. Veel van die getallen bewegen samen, dus een groot deel van de informatie is dubbel. Hoofdcomponentenanalyse (Principal Component Analysis, PCA) is een wiskundige techniek die al die overlappende getallen samenperst tot een handvol nieuwe samenvattende getallen, componenten genoemd, en daarbij zo min mogelijk echte informatie weggooit. Vergelijk het met het samenvatten van een dik boek in een paar zinnen die toch het grootste deel van het verhaal vangen. Robust PCA is een variant die de data opsplitst in een vloeiend deel met de gemeenschappelijke structuur die de meeste aandelen delen, plus een apart, schaars (sparse) deel met de paar grote uitschieters, zodat een handvol extreme namen de samenvattende richtingen niet kan verbuigen.
Wat het meet
PCA meet variatie – hoe sterk de data gespreid is – en zoekt de richtingen waarin de data het meest varieert. De eerste component vangt het grootste afzonderlijke variatiepatroon, de tweede het op een na grootste (dat de eerste heeft gemist), enzovoort. “90% van de variantie behouden” betekent dat we genoeg componenten aanhouden om 90% van de totale spreiding te bewaren en de rest als ruis laten vallen. - Klein voorbeeld: stel dat lengte en armspanwijdte vrijwel altijd dicht bij elkaar liggen (lange mensen hebben lange armen). - In plaats van beide getallen op te slaan, maakt PCA één component, “algehele lichaamsgrootte”, die ~95% van de verschillen tussen mensen vangt. - U bent van 2 getallen naar 1 gegaan en verliest daarbij heel weinig – dat is dimensiereductie. - Een lading (loading) geeft aan hoeveel elk oorspronkelijk kenmerk bijdraagt aan een component (het recept van de richting); een score (of componentwaarde) geeft aan waar een bepaald aandeel langs die richting uitkomt – de twee worden gemakkelijk verward.
Hoe SurgeFlow het gebruikt
PCA vormt de basis van het ML-tabblad “marktkaart”. SurgeFlow neemt per aandeel veel gecorreleerde kenmerken, voert PCA uit en houdt genoeg componenten aan om ongeveer 90% van de variantie te behouden: een compacte, minder ruisgevoelige versie van de data. Daarna groepeert het de aandelen (clustering) binnen die gecomprimeerde ruimte, en gebruikt het daarnaast de reconstructiefout – hoe slecht een aandeel door de behouden componenten wordt beschreven – als één anomaliesignaal: een aandeel dat niet in het gemeenschappelijke patroon past, valt op. De anomaliescore van SurgeFlow combineert deze reconstructiefout met de afstand van elk aandeel tot het middelpunt van zijn cluster. (Dit is conceptueel verwant aan de academische techniek “Robust PCA”, die data opsplitst in gedeelde structuur van lage rang plus schaarse uitschieters, maar SurgeFlow gebruikt gewone PCA, niet Robust PCA.) - Comprimeren: veel kenmerken terug naar een paar componenten (~90% van de variantie behouden). - Groeperen: aandelen clusteren in de kleinere ruimte. - Uitschieters markeren: grote reconstructiefout = één (van meerdere) aanwijzingen voor een anomalie.
Hoe u het op de site leest
Open het ML-tabblad (de marktkaart op /ml). U ziet aandelen gegroepeerd in clusters en sommige namen gemarkeerd als anomalie. Lees een cluster als “deze aandelen gedroegen zich in de periode structureel vergelijkbaar”, en lees een anomaliemarkering als “deze naam paste niet in het gebruikelijke gedeelde patroon – een nadere menselijke blik waard”. De componenten zelf zijn samenvattende assen, geen koersen of scores om op te handelen. - Clusters groeperen aandelen op gedeelde structuur, niet op kwaliteit of verwacht rendement. - Een anomaliemarkering is een aanleiding om te onderzoeken, nooit een automatisch koop- of verkoopsignaal. - Labels en groeperingen kunnen verschuiven wanneer er nieuwe data binnenkomt.
Wat het u niet kan vertellen
Dit is het belangrijkste onderdeel. PCA-componenten zijn NIET automatisch economische factoren: een component is slechts een richting van maximale variatie, dus component 1 “waarde” of “momentum” noemen is een menselijke gok die onjuist kan zijn. PCA beschrijft de structuur in de data; het voorspelt geen toekomstige rendementen en geeft geen koop- of verkoopsignalen, en een nette clustering zegt niets over welke aandelen zullen stijgen. De resultaten hangen bovendien af van hoe de data is geschaald en welke kenmerken zijn opgenomen, en uitschieters kunnen de componenten vertekenen als er niet zorgvuldig mee wordt omgegaan. - Componenten zijn wiskundig, geen oorzaken in de echte wereld – correlatie is geen causaliteit. - 90% van de variantie behouden is een keuze, geen wet; een andere grens verandert het beeld. - Reconstructiefout markeert “ongebruikelijk”, niet “slecht” of “kans”. - Uitsluitend beschrijvend – dit is onderzoek en educatie, geen beleggingsadvies.