Todellista vai sattumaa? Keskivirheet, t-arvot ja p-arvot
Lue arkikielellä, mitä keskivirhe, luottamusvälit, t-arvot ja p-arvot osoittavat ja mitä eivät.
Luokka: Tilastotiede
Arkikielellä
Kuvittele, että heität kolikkoa 10 kertaa ja saat 6 kruunaa. Onko kolikko peukaloitu, vai kävikö vain tuuri? Tilastotiede on työkalupakki, jolla vastataan kysymykseen 'onko tämä todellista, vai voiko se olla sattumaa?' Kun SurgeFlow mittaa jotakin, esimerkiksi sitä, kuinka paljon paremmin yksi osakeryhmä menestyi kuin toinen, luku ei ole koskaan täysin puhdas. Nämä työkalut kertovat, kuinka paljon lukuun voi luottaa. Ne eivät kerro totuutta varmuudella. Ne kertovat, kuinka yllättynyt pitäisi olla, jos tulos olisikin pelkkää sattumaa.
Mitä se mittaa
Neljä käsitettä toistuu yhä uudelleen, ja kukin vastaa hieman eri kysymykseen. Yhdessä ne kysyvät: jos vaikutusta ei todella olisi lainkaan, kuinka todennäköinen havaittu tulos olisi? Pieni laskuesimerkki: oletetaan, että strategia tuotti keskimäärin 0.4% kuukaudessa ja tämän keskiarvon keskivirhe on 0.1%. t-arvo on 0.4 jaettuna 0.1:llä eli 4. t-arvo 4 on suuri, joten p-arvo olisi hyvin pieni. Sellaista tulosta sattuman on vaikea selittää. Jos t-arvo olisi lähellä yhtä, näin ei olisi. - Keskivirhe (standard error): kuinka paljon keskiarvo heiluisi, jos mittaus toistettaisiin. Pienempi tarkoittaa vakaampaa. - Luottamusväli (confidence interval): väli, jolla todellinen arvo uskottavasti on, esim. '0.4% plus tai miinus 0.2%, eli 0.2%–0.6%'. - t-arvo: tulos jaettuna keskivirheellään. Suurempi (kauempana nollasta) tarkoittaa, että tulosta on vaikeampi kuitata sattumaksi. Yleisenä nyrkkisääntönä pidetään karkeasti t-arvoa yli ~2. - p-arvo: todennäköisyys nähdä näin suuri tulos, jos todellinen vaikutus olisi nolla. Pieni p (esim. 0.01) tarkoittaa, että 'pelkkä sattuma tuottaa tämän harvoin'.
Miten SurgeFlow käyttää sitä
Nämä tunnusluvut ovat Faktorit-välilehden (/factors) perusta. 'Faktori' on sääntö, joka lajittelee osakkeet (esimerkiksi halvat vastaan kalliit), ja SurgeFlow seuraa kahden ryhmän välistä tuottoeroa, niin sanottua spreadia, ajan mittaan. Kunkin faktorin kohdalla spreadin vieressä näytetään T-stat: keskimääräinen ero jaettuna keskivirheellään. Mitä suurempi T-stat, sitä epätodennäköisemmin ero on pelkkää kohinaa. SurgeFlow raportoi HAC-t-arvot silloin, kun data sitä edellyttää (HAC tulee sanoista Heteroskedasticity- and Autocorrelation-Consistent; menetelmä tunnetaan myös nimellä Newey-West). Yksinkertaisesti sanottuna päivätuotot ovat heilahtelevia ja muistuttavat usein toisiaan päivästä toiseen, minkä vuoksi tulos voi näyttää vahvemmalta kuin se on. HAC-korjaus leventää virhemarginaaleja tämän huomioimiseksi, jolloin t-arvo on varovaisempi ja usein pienempi. - Spread: faktorin 'ylimmän' ryhmän tuotto miinus 'alimman' ryhmän tuotto. - T-stat sivulla /factors: keskimääräinen spread jaettuna keskivirheellään. - HAC / Newey-West: korjaus, joka estää heilahtelevaa, itsensä kanssa korreloivaa dataa näyttämästä vahvemmalta kuin se on. - Monen faktorin yhteistestit (kuten GRS-tyyppinen testi) suojaavat siltä, että joukosta poimitaan yksi sattumalta hyvin onnistunut faktori; tämä lisäys on suunnitteilla otoshistorian karttuessa.
Miten sitä luetaan sivustolla
Avaa Faktorit-välilehti (/factors) ja katso T-stat-saraketta kunkin faktorin spreadin vieressä. Karkeana ohjeena: selvästi yli 2:n HAC-t-arvo tarkoittaa, että historiallinen ero ei todennäköisesti ole pelkkää sattumaa; t-arvo noin 1 tai sen alle tarkoittaa, että ero voi helposti olla sattumaa ja ansaitsee vain vähän painoa. Lue se aina yhdessä tuoton todellisen suuruuden kanssa, ei yksinään. Faktori voi olla 'tilastollisesti todellinen' ja silti pieni, tai suuri mutta liian kohinainen, jotta siihen voisi luottaa. Pidä t-arvoa luottamusmittarina, älä osto- tai myyntipainikkeena.
Mitä se ei voi kertoa
Pieni p-arvo tai suuri t-arvo on helppo tulkita väärin, joten ole varovainen. Nämä luvut kuvaavat SurgeFlow'n mittaamaa historiallista dataa; ne eivät ole ennusteita, ja todelliselta näyttävä etu voi kadota, kun kaikki tietävät siitä. Mikään tästä ei todista syy-yhteyttä: faktori voi osua yksiin tuottojen kanssa sattumalta (korrelaatio ei ole kausaliteettia). Ja mitä useampaa sääntöä testataan, sitä todennäköisemmin jokin niistä näyttää 'merkitsevältä' pelkästä sattumasta; tätä kutsutaan monitestaukseksi (multiple testing) tai p-hakkeroinniksi, ja se on kuin heittäisi 100 kolikkoa ja kehuskelisi sillä yhdellä, joka antoi 9 kruunaa. - Tilastollinen merkitsevyys ei ole taloudellista merkitsevyyttä: 'todellinen' ei tarkoita 'riittävän suurta, jotta sillä olisi merkitystä'. - Merkitsevä menneisyydessä ei tarkoita, että sama toistuu tulevaisuudessa. - Tässä havaittu korrelaatio ei ole osoitus syy-yhteydestä. - Kun faktoreita testataan riittävästi, osa näyttää sattumalta erinomaisilta; yksi vaikuttava t-arvo yksinään on heikkoa näyttöä. - Nämä ovat tutkimuksen ja opetuksen työkaluja. SurgeFlow ei anna sijoitusneuvontaa.