Milloin backtestiin voi luottaa (ja milloin ei)?

Aloittelijan opas vinoumiin, jotka tekevät historiatestauksesta harhaanjohtavaa, ja siihen, miten tulosta luetaan terveen epäilevästi.

Luokka: Backtestaus

Selkokielellä

Backtest kysyy: ”Mitä olisi tapahtunut, jos olisin noudattanut tätä sääntöä menneisyydessä?” Otetaan strategia, toistetaan historia ja katsotaan, miten kuvitteellinen raha olisi kasvanut. Koukku on siinä, että on hyvin helppoa rakentaa backtest, joka näyttää paperilla loistavalta mutta ei ole koskaan ollut totta. Koko taito on oppia, mihin backtesteihin voi luottaa ja mihin ei. Tämä artikkeli on tarkistuslista yleisimmistä sudenkuopista pienten esimerkkien avulla. - Backtest on historian entä jos -uusinta, ei selvitys todellisista kaupoista. - Hyvännäköinen tulos voi olla sattumaa, virhe tai silkkaa kuvitelmaa. - Backtestiin luottaminen tarkoittaa sen selvittämistä, miten se on rakennettu, ei pelkän tuoton katsomista.

Mitä se mittaa

Luotettava backtest mittaa, miten sääntö olisi toiminut reiluissa ja realistisissa oloissa. Pahimpia vihollisia ovat vinoumat (biases), jotka huomaamatta vuotavat tulevaisuutta menneisyyteen tai piilottavat kustannuksia ja epäonnistumisia. Tässä tärkeimmät, kukin yksinkertaisen esimerkin kanssa. Huomaa, että lähes jokainen sudenkuoppa saa tuloksen näyttämään todellisuutta paremmalta, ei koskaan huonommalta. - Look-ahead-vinouma: käytetään tietoa, jota ei silloin vielä voitu tietää. Esimerkki: maanantain kaupan historiatestaus tulosraportilla, joka julkaistiin vasta myöhemmin samalla viikolla. - Survivorship-vinouma (selviytymisharha): testataan vain yhtiöitä, jotka ovat yhä olemassa, jolloin kaikki konkurssiin menneet yhtiöt katoavat ja tulokset näyttävät liian ruusuisilta. - Valikoitumisharha: valitaan suotuisa jakso, esimerkiksi testataan vain vuodet 2010–2020 ja ohitetaan 2008. - Data snooping / p-hacking: kokeillaan 200 sääntöä ja säilytetään se, joka sattui voittamaan. Kun tarpeeksi moni heittää kolikkoa, joku heittää kruunan 10 kertaa peräkkäin. - Ylisovittaminen: sääntö on viritetty menneisyyteen niin tiukasti, että se on opetellut kohinan ulkoa; se loistaa vanhalla datalla ja epäonnistuu uudella. - Survivorship ja look-ahead ovat ne kaksi, jotka useimmin tekevät tappiollisesta ideasta näennäisen voittajan.

Miten SurgeFlow käyttää sitä

SurgeFlow'n Backtesting-välilehti (/backtest/benchmark) tuo nämä rehellisyystarkistukset näkyvästi esiin ”Testioletukset”-paneelissa, jotta lukua ei tarvitse ottaa vastaan hyvässä uskossa. Paneeli nimeää selvästi universumin, testijakson, lasketut kustannukset ja tunnetut heikkoudet. Kaksi erottelua on tärkeintä. In-sample tarkoittaa, että tulos on mitattu samasta historiasta, jota käytettiin säännön suunnitteluun; out-of-sample (OOS) tarkoittaa, että tulos on tarkistettu uudella, myöhemmällä datalla, jota sääntö ei ole koskaan nähnyt, mikä on paljon vahvempaa näyttöä. SurgeFlow merkitsee faktoribacktestinsä tällä hetkellä in-sample-tulokseksi (näkyvissä on ”0 OOS”) eikä esitä sitä muuna. - Point-in-time-syötteet: pyritään käyttämään vain dataa, joka oli saatavilla kunakin historiallisena päivänä, mikä vähentää look-ahead-vinoumaa (ja todetaan, että muiden kuin Yhdysvaltojen markkinoiden data on heikompaa). - Kaupankäyntikulut: markkinakohtaiset epäsymmetriset osto- ja myyntikulut vähennetään, joten näytetyt tuotot ovat kulujen jälkeisiä nettotuottoja eivätkä bruttokuvitelmaa. - Survivorship: merkitty avoimesti, koska universumi muodostetaan yhtiöistä, jotka ovat yhä olemassa. - Julkaisuportit: tuloksen on läpäistävä rehellisyystarkistukset ennen kuin se näytetään, ja kypsymätön data merkitään tutkimukseksi, ei näytöksi.

Miten sitä luetaan sivustolla

Aloita Testioletukset-paneelista jo ennen kuin katsot tuottoa. Tarkista, onko tulos in-sample vai out-of-sample, brutto vai netto ja kuinka paljon kaupankäyntiä se vaati. Vaihtuvuus (turnover) kertoo, kuinka usein strategia vaihtaa positioitaan; korkea vaihtuvuus yhdessä todellisten kulujen kanssa voi huomaamatta syödä koko edun. Jako opetus-, validointi- ja testijaksoon (suunnitellaan yhdellä osalla, viritetään toisella ja arvioidaan vain kolmannella, koskemattomalla osalla) sekä walk-forward-testit (estimoidaan toistuvasti uudelleen menneellä datalla ja tarkistetaan välittömästi seuraava jakso) ovat kultaisia standardeja, joita kohti SurgeFlow etenee faktorihistorian kasvaessa. - Etsi brutto/netto-merkintä: brutto ohittaa kulut, netto on se, mitä todella jäisi käteen. - Lue vaihtuvuusluku: enemmän kaupankäyntiä tarkoittaa suurempaa kulurasitetta. - Etsi lukujen vierestä in-sample/OOS-merkintä. - Pidä jokaista paneelin varaumaa sivun tärkeimpänä tekstinä.

Mitä se ei voi kertoa

Huolellisinkaan backtest ei voi luvata tulevaisuutta. Markkinat muuttuvat, hyviä ideoita kopioidaan joukolla, kunnes ne lakkaavat toimimasta, ja seuraava vuosikymmen muistuttaa harvoin edellistä. Backtest on näyttöä menneisyydestä tietyin oletuksin, ei ennuste. Varo erityisesti kolmea sekaannusta: aiempi kehitys ei ole ennuste; korrelaatio ei ole kausaliteettia (kahden yhdessä liikkuvan asian ei tarvitse aiheuttaa toisiaan); eikä tilastollinen merkitsevyys ole taloudellista merkitystä (”todellinen” vaikutus voi kulujen jälkeen olla yhä liian pieni ollakseen merkityksellinen). Mikään tästä ei ole kehotus ostaa tai myydä. - Aloittelijan luottamustarkistuslista: onko tulos out-of-sample vai pelkästään in-sample? - Onko tuotto nettotuotto realististen kaupankäyntikulujen jälkeen? - Ovatko konkurssiin menneet yhtiöt mukana (ei survivorship-vinoumaa)? - Onko sääntö voinut vahingossa käyttää tulevaa dataa (look-ahead)? - Kuinka monta muunnelmaa kokeiltiin ennen kuin tämä voittaja löytyi (p-hacking)? - Säilyykö etu korkeammilla kuluilla ja toisella jaksolla?