Echt of toeval? Standaardfouten, t-statistieken en p-waarden

Lees in gewone taal wat standaardfout, betrouwbaarheidsintervallen, t-statistieken en p-waarden wel en niet bewijzen.

Categorie: Statistiek

In gewone taal

Stel dat u een munt 10 keer opgooit en 6 keer kop krijgt. Is de munt gemanipuleerd, of had u gewoon geluk? Statistiek is de gereedschapskist om de vraag 'is dit echt, of kan het toeval zijn?' te beantwoorden. Wanneer SurgeFlow iets meet, bijvoorbeeld hoeveel beter een groep aandelen het deed dan een andere groep, is het getal nooit volledig zuiver. Deze hulpmiddelen vertellen u hoeveel vertrouwen u erin kunt hebben. Ze geven u niet met zekerheid de waarheid. Ze vertellen u hoe verrast u zou moeten zijn als het resultaat in werkelijkheid puur toeval was.

Wat het meet

Vier begrippen keren steeds terug, en elk beantwoordt een net iets andere vraag. Samen stellen ze de vraag: als er werkelijk helemaal geen effect was, hoe waarschijnlijk is dan het resultaat dat we zagen? Een klein rekenvoorbeeld: stel dat een strategie gemiddeld 0.4% per maand opleverde en de standaardfout van dat gemiddelde 0.1% is. De t-statistiek is 0.4 gedeeld door 0.1, en dat is 4. Een t-statistiek van 4 is groot, dus de p-waarde zou heel klein zijn. Dat is een resultaat dat toeval moeilijk kan verklaren. Bij een t-statistiek rond 1 zou dat niet zo zijn. - Standaardfout (standard error): hoeveel een gemiddelde zou schommelen als u de meting opnieuw uitvoerde. Kleiner betekent stabieler. - Betrouwbaarheidsinterval (confidence interval): een bandbreedte waarbinnen de werkelijke waarde aannemelijk ligt, bijvoorbeeld '0.4% plus of min 0.2%, dus 0.2% tot 0.6%'. - t-statistiek: het resultaat gedeeld door zijn standaardfout. Groter (verder van 0) betekent moeilijker af te doen als toeval. Grofweg geldt een t-statistiek boven ~2 als de gangbare vuistregel. - p-waarde: de kans om een resultaat van deze omvang te zien als het werkelijke effect nul was. Een kleine p (bijv. 0.01) betekent 'toeval alleen doet dit zelden'.

Hoe SurgeFlow het gebruikt

Deze statistieken vormen de basis van het tabblad Factoren (/factors). Een 'factor' is een regel die aandelen sorteert (bijvoorbeeld goedkoop versus duur), en SurgeFlow volgt het rendementsverschil tussen de twee groepen door de tijd, de zogeheten spread. Voor elke factor toont het een T-stat naast die spread: het gemiddelde verschil gedeeld door zijn standaardfout. Hoe groter de T-stat, hoe kleiner de kans dat het verschil slechts ruis is. SurgeFlow rapporteert HAC-t-statistieken waar de gegevens daarom vragen (HAC staat voor Heteroskedasticity- and Autocorrelation-Consistent, ook wel Newey-West genoemd). Eenvoudig gezegd: dagrendementen zijn grillig en hebben de neiging van dag tot dag op elkaar te lijken, waardoor een resultaat sterker kan lijken dan het is. De HAC-correctie verbreedt de foutmarges om daarmee rekening te houden, wat een voorzichtigere, vaak kleinere t-statistiek oplevert. - Spread: het rendement van de 'bovenste' groep minus dat van de 'onderste' groep van een factor. - T-stat op /factors: de gemiddelde spread gedeeld door zijn standaardfout. - HAC / Newey-West: een correctie die voorkomt dat grillige, met zichzelf gecorreleerde gegevens sterkte veinzen. - Gezamenlijke toetsen over veel factoren tegelijk (zoals een toets in GRS-stijl) beschermen tegen het selectief uitkiezen van één factor die toevallig goed uitkomt; deze toevoeging is gepland naarmate de historie van de steekproef groeit.

Hoe u het op de site leest

Open het tabblad Factoren (/factors) en kijk naar de kolom T-stat naast de spread van elke factor. Als ruwe richtlijn: een HAC-t-statistiek ruim boven 2 betekent dat het historische verschil waarschijnlijk geen puur toeval is; een t-statistiek rond of onder 1 betekent dat het gemakkelijk toeval kan zijn en weinig gewicht verdient. Lees het altijd samen met de werkelijke omvang van het rendement, niet op zichzelf. Een factor kan 'statistisch echt' zijn en toch klein, of groot in omvang maar te ruisachtig om op te vertrouwen. Beschouw de t-statistiek als een vertrouwensmeter, niet als een koop- of verkoopknop.

Wat het u niet kan vertellen

Een kleine p-waarde of een grote t-statistiek is gemakkelijk verkeerd te lezen, dus wees voorzichtig. Deze getallen beschrijven de historische gegevens die SurgeFlow heeft gemeten; het zijn geen voorspellingen, en een voordeel dat echt lijkt kan verdwijnen zodra iedereen het kent. Niets hiervan bewijst een oorzaak: een factor kan bij toeval samenvallen met rendementen (correlatie is geen causaliteit). En hoe meer regels u toetst, hoe groter de kans dat er één puur door toeval 'significant' lijkt; dat heet meervoudig toetsen (multiple testing) of p-hacking, vergelijkbaar met 100 munten opgooien en opscheppen over de ene die 9 keer kop gaf. - Statistische significantie is geen economische significantie: 'echt' betekent niet 'groot genoeg om ertoe te doen'. - Significant in het verleden betekent niet dat het zich in de toekomst herhaalt. - Een hier gevonden correlatie is geen bewijs van oorzaak. - Toets genoeg factoren en sommige zullen door toeval geweldig lijken; één indrukwekkende t-statistiek op zichzelf is zwak bewijs. - Dit zijn hulpmiddelen voor onderzoek en educatie. SurgeFlow geeft geen beleggingsadvies.