Piirteiden skaalaus: luvut samalle viivalle
Lue, miksi eri asteikoilla mitatut piirteet normalisoidaan ennen klusterointia ja miten SurgeFlow skaalaa jokaisen piirteen robustisti mediaanin ja hajonnan avulla.
Luokka: Koneoppiminen
Selkokielellä
Kuvittele, että ihmisiä jaetaan ryhmiin kahden tiedon perusteella: pituus senttimetreinä (noin 170) ja ikä vuosina (noin 40). Jos raakaluvut vain lasketaan yhteen, pituus jyrää iän pelkästään siksi, että sen luvut ovat suurempia - vaikka ikä voi olla aivan yhtä tärkeä. Piirteiden skaalaus (feature scaling) korjaa tämän skaalaamalla jokaisen luvun uudelleen niin, että kaikki puhuvat samaa 'mittakaavan kieltä' ennen kuin tietokone vertaa niitä. Kyse on reiluudesta: skaalaus estää yhtä saraketta hallitsemasta vain siksi, että sen yksiköt sattuvat tuottamaan suuria arvoja.
Mitä se mittaa
'Piirre' (feature) on yksi osaketta kuvaava tietosarake - esimerkiksi suhdeluku välillä 0–1 tai markkina-arvo $2,000,000,000 (markkina-arvo = osakekurssi kertaa osakkeiden lukumäärä). Monet mallit mittaavat kahden osakkeen 'etäisyyttä' toisistaan yhdistämällä niiden sarakkeet, jolloin sarake, jonka raaka-arvot ovat valtavia, hallitsee etäisyyttä. Skaalaus kirjoittaa jokaisen sarakkeen uudelleen suhteessa sen omaan tyypilliseen arvoon ja omaan hajontaan, jolloin 'suuri liike' yhdessä sarakkeessa on vertailukelpoinen 'suuren liikkeen' kanssa toisessa. - Raaka: osakkeen A markkina-arvo = 2,000,000,000; suhdeluku = 0.30 - Raaka: osakkeen B markkina-arvo = 2,000,001,000; suhdeluku = 0.90 - Skaalaamatonta etäisyyttä hallitsee markkina-arvojen mitätön 1,000:n ero, ja suhdelukujen suuri ero jää huomiotta - Skaalauksen jälkeen suhdelukujen 0.30 ja 0.90 ero tulee näkyviin ja vaikuttaa tulokseen
Miten SurgeFlow käyttää sitä
Tämä vaihe on ML-välilehden 'markkinakartan' (/ml) perusta. Kartta ryhmittelee Yhdysvaltain osakkeet klustereihin ja merkitsee epätavalliset osakkeet. Ennen ryhmittelyä SurgeFlow skaalaa jokaisen piirteen robustisti: sarakkeen arvoista vähennetään mediaani (keskimmäinen arvo) ja tulos jaetaan IQR:llä (kvartiiliväli - aineiston keskimmäisen puolikkaan hajonta). Robusti skaalaus on valittu siksi, että mediaani ja IQR kestävät poikkeavia havaintoja ja harvoja, aukkoisia sarakkeita, toisin kuin keskiarvo ja keskihajonta, joita muutama ääriarvo voi vääristää. Skaalatut piirteet syötetään sen jälkeen PCA:han (vaihe, joka tiivistää monta saraketta muutamaksi yhteenvetosuunnaksi) ja klusterointiin, joka tuottaa kartan. - Keskitys: vähennetään sarakkeen mediaani (tyypillinen arvo) - Hajonta: jaetaan IQR:llä (keskimmäisen puolikkaan vaihteluväli) - Kestää poikkeavia havaintoja, joten yksittäinen outo arvo ei vääristä saraketta - Tehdään piirrekohtaisesti ennen PCA:ta ja klusterointia
Miten sitä luetaan sivustolla
'Skaalaus'-painiketta ei ole - skaalaus tapahtuu huomaamatta ML-välilehden 'markkinakartan' (/ml) taustalla olevassa prosessissa. Näkyvissä on sen tulos: klustereihin sijoitetut osakkeet ja poikkeamamerkinnät, joissa jokainen syötesarake on saanut tasapuolisen äänen. Käytännön johtopäätös on, että kartan ryhmittelyt heijastavat tasapainoista näkymää kaikkiin piirteisiin, eivät vain siihen sarakkeeseen, jonka raakaluvut olivat suurimmat. Jos ihmetyttää, miksi kaksi markkina-arvoltaan jättimäistä osaketta voi silti päätyä eri klustereihin, syy on skaalaus: pienempilukuisten sarakkeiden erot eivät enää huku alle.
Mitä se ei voi kertoa
Skaalaus tekee sarakkeista ainoastaan suuruudeltaan vertailukelpoisia - se ei ratkaise, millä sarakkeilla on merkitystä, ei osoita minkään olevan tärkeää eikä ennusta tuottoja. Lähes vakiona pysyvä piirre (jonka arvo on lähes sama jokaisella osakkeella) poistetaan ennen skaalausta, koska jakaminen lähes nollan suuruisella IQR:llä paisuttaisi tuon pienen sarakkeen kohinaksi, joka kaappaa mallin; poistaminen ei hävitä todellista tietoa, sillä sarake ei juuri vaihdellut muutenkaan. On myös hyvä muistaa suurempi rajoitus: ML-kartta on kuvaileva, se näyttää aineiston rakenteen, ei osto- tai myyntisignaaleja. SurgeFlow on tutkimusta ja opetusta, ei koskaan sijoitusneuvontaa. - Skaalaus tasapainottaa suuruuden, se ei aseta tärkeysjärjestykseen - Lähes vakioarvoiset sarakkeet poistetaan (lähes nollan suuruinen IQR paisuisi kohinaksi) - Sama lähtöviiva ei tarkoita samaa tärkeyttä - Klusterit kuvaavat rakennetta - ne eivät ole ennusteita eivätkä neuvoja