Feature scaling: getallen op gelijke voet brengen
Waarom kenmerken die op verschillende schalen zijn gemeten vóór het clusteren worden genormaliseerd, en hoe SurgeFlow elk kenmerk robuust schaalt op basis van mediaan en spreiding.
Categorie: Machine learning
In gewone taal
Stel dat u mensen in groepen indeelt op basis van twee gegevens: hun lengte in centimeters (rond de 170) en hun leeftijd in jaren (rond de 40). Telt u de ruwe getallen gewoon op, dan overstemt lengte de leeftijd, puur omdat de getallen groter zijn - terwijl leeftijd net zo belangrijk kan zijn. Feature scaling (het schalen van kenmerken) lost dit op door elk getal te herschalen, zodat ze allemaal dezelfde 'maattaal' spreken voordat de computer ze vergelijkt. Het is een eerlijkheidsstap: het voorkomt dat één kolom domineert alleen omdat de eenheden toevallig grote waarden opleveren.
Wat het meet
Een 'kenmerk' (feature) is één kolom met gegevens die een aandeel beschrijft - bijvoorbeeld een ratio tussen 0 en 1, of een marktkapitalisatie van $2,000,000,000 (marktkapitalisatie = aandelenkoers maal aantal aandelen). Veel modellen meten hoe 'ver uit elkaar' twee aandelen liggen door hun kolommen te combineren, waardoor een kolom met enorme ruwe waarden die afstand domineert. Schalen herschrijft elke kolom ten opzichte van haar eigen typische waarde en haar eigen spreiding, zodat een 'grote beweging' in de ene kolom vergelijkbaar is met een 'grote beweging' in een andere. - Ruw: aandeel A marktkapitalisatie = 2,000,000,000; ratio = 0.30 - Ruw: aandeel B marktkapitalisatie = 2,000,001,000; ratio = 0.90 - De ongeschaalde afstand wordt gedomineerd door het minieme verschil van 1,000 in marktkapitalisatie, terwijl het grote verschil in de ratio wordt genegeerd - Na schalen wordt het verschil tussen de ratio's 0.30 en 0.90 zichtbaar en telt het mee
Hoe SurgeFlow het gebruikt
Deze stap vormt de basis van het ML-tabblad 'marktkaart' (/ml), dat Amerikaanse aandelen in clusters groepeert en ongebruikelijke aandelen markeert. Vóór elke groepering schaalt SurgeFlow elk kenmerk robuust: de mediaan van de kolom (de middelste waarde) wordt afgetrokken en het resultaat wordt gedeeld door de IQR (de interkwartielafstand - de spreiding van de middelste helft van de gegevens). Er is voor robuust schalen gekozen omdat mediaan en IQR bestand zijn tegen uitschieters en tegen dunne, onvolledige kolommen, in tegenstelling tot het gemiddelde en de standaarddeviatie, die door een paar extreme waarden kunnen worden vertekend. De geschaalde kenmerken gaan vervolgens naar PCA (een stap die veel kolommen samenvat in een paar overkoepelende richtingen) en naar de clustering die de kaart oplevert. - Centreren: trek de mediaan van de kolom af (typische waarde) - Spreiding: deel door de IQR (bereik van de middelste helft) - Bestand tegen uitschieters, zodat één afwijkende waarde de kolom niet vervormt - Per kenmerk uitgevoerd, vóór PCA en clustering
Hoe u het op de site leest
U klikt niet op een knop 'schalen' - het gebeurt ongemerkt in de pijplijn achter het ML-tabblad 'marktkaart' (/ml). Wat u wel ziet, is het resultaat: aandelen ingedeeld in clusters en markeringen van afwijkingen, waarbij elke invoerkolom een eerlijke stem kreeg. De praktische les is dat de groeperingen op de kaart een evenwichtig beeld over alle kenmerken weerspiegelen, niet alleen over de kolom met de grootste ruwe getallen. Vraagt u zich af waarom twee aandelen met een zeer grote marktkapitalisatie toch in verschillende clusters terechtkomen, dan is schalen de reden: verschillen in kolommen met kleinere getallen worden niet langer weggedrukt.
Wat het u niet kan vertellen
Schalen maakt kolommen alleen vergelijkbaar in grootte - het bepaalt niet welke kolommen ertoe doen, bewijst niet dat iets belangrijk is en voorspelt geen rendementen. Een vrijwel constant kenmerk (een kenmerk dat voor bijna elk aandeel dezelfde waarde heeft) wordt vóór het schalen verwijderd, omdat delen door een IQR van bijna nul die kleine kolom zou opblazen tot ruis die het model kaapt; het verwijderen ervan kost geen echte informatie, omdat de kolom toch nauwelijks varieerde. En onthoud de grotere beperking: de ML-kaart is beschrijvend, zij toont structuur in de gegevens, geen koop- of verkoopsignalen. SurgeFlow is onderzoek en educatie, nooit beleggingsadvies. - Schalen brengt grootte in balans, het rangschikt geen belang - Vrijwel constante kolommen worden verwijderd (een IQR van bijna nul zou tot ruis exploderen) - Gelijke voet is niet hetzelfde als gelijke relevantie - De clusters beschrijven structuur - het zijn geen voorspellingen of adviezen