Wanneer kunt u een backtest vertrouwen (en wanneer niet)?

Een gids voor beginners over de vertekeningen die backtests misleidend maken, en hoe u een resultaat met gezonde scepsis leest.

Categorie: Backtesting

In gewone taal

Een backtest stelt de vraag: „Wat zou er zijn gebeurd als ik deze regel in het verleden had gevolgd?” U neemt een strategie, speelt de geschiedenis opnieuw af en kijkt hoe het denkbeeldige geld zou zijn gegroeid. Het addertje onder het gras is dat het heel makkelijk is om een backtest te bouwen die op papier briljant oogt, maar nooit echt is geweest. De hele kunst is leren welke backtests u kunt vertrouwen en welke niet. Dit artikel is een checklist van de gebruikelijke valkuilen, uitgelegd met kleine voorbeelden. - Een backtest is een wat-als-herhaling van de geschiedenis, geen verslag van echte transacties. - Een mooi resultaat kan toeval zijn, een fout of pure fantasie. - Een backtest vertrouwen betekent nagaan hoe hij is gebouwd, niet alleen naar het rendement kijken.

Wat het meet

Een betrouwbare backtest meet hoe een regel zou hebben gepresteerd onder eerlijke, realistische omstandigheden. De grootste vijanden zijn vertekeningen (biases) die ongemerkt de toekomst in het verleden laten lekken of kosten en mislukkingen verbergen. Hier zijn de belangrijkste, elk met een eenvoudig voorbeeld. Merk op dat vrijwel elke valkuil het resultaat beter laat lijken dan de werkelijkheid, nooit slechter. - Look-ahead-bias: informatie gebruiken die u toen nog niet kon weten. Voorbeeld: een transactie op maandag backtesten op basis van een winstrapport dat pas later die week werd gepubliceerd. - Survivorship-bias: alleen bedrijven testen die vandaag nog bestaan, zodat alle failliete bedrijven verdwijnen en de resultaten te rooskleurig ogen. - Selectiebias: een gunstige periode uitkiezen, zoals alleen 2010 tot 2020 testen en 2008 overslaan. - Data snooping / p-hacking: 200 regels uitproberen en de regel bewaren die toevallig won. Laat genoeg mensen een munt opgooien en er gooit er één 10 keer achter elkaar kop. - Overfitting: een regel die zo sterk op het verleden is afgestemd dat hij ruis uit het hoofd heeft geleerd; hij blinkt uit op oude data en faalt op nieuwe data. - Survivorship en look-ahead zijn de twee die het vaakst van een verliezend idee een schijnwinnaar maken.

Hoe SurgeFlow het gebruikt

Het tabblad Backtesting van SurgeFlow (/backtest/benchmark) zet deze eerlijkheidscontroles prominent in beeld in een paneel „Testaannames”, zodat u een getal niet op goed vertrouwen hoeft aan te nemen. Het noemt expliciet het universum, de testperiode, de berekende kosten en de bekende zwakke punten. Twee onderscheidingen zijn het belangrijkst. In-sample betekent dat het resultaat is gemeten op dezelfde historie die is gebruikt om de regel te ontwerpen; out-of-sample (OOS) betekent dat het is getoetst op nieuwe, latere data die de regel nooit heeft gezien, wat veel sterker bewijs is. SurgeFlow markeert zijn factorbacktest momenteel als in-sample (er staat „0 OOS”) in plaats van iets anders voor te wenden. - Point-in-time-invoer: er wordt geprobeerd alleen data te gebruiken die op elke historische dag beschikbaar was, wat look-ahead-bias vermindert (en er wordt erkend dat de data voor niet-Amerikaanse markten zwakker is). - Transactiekosten: per markt worden asymmetrische aan- en verkoopkosten afgetrokken, zodat de getoonde rendementen netto na kosten zijn en geen bruto fantasie. - Survivorship: openlijk gemarkeerd, omdat het universum wordt opgebouwd uit de namen die vandaag nog bestaan. - Publicatiepoorten: een resultaat moet eerlijkheidscontroles doorstaan voordat het wordt getoond, en onvolgroeide data wordt aangeduid als onderzoek, niet als bewijs.

Hoe u het op de site leest

Begin bij het paneel Testaannames, nog voordat u naar het rendement kijkt. Ga na of het resultaat in-sample of out-of-sample is, bruto of netto, en hoeveel handel het vereiste. De omloopsnelheid (turnover) geeft aan hoe vaak de strategie van posities wisselt; een hoge omloopsnelheid in combinatie met echte kosten kan ongemerkt het hele voordeel opeten. Een opsplitsing in training/validatie/test (ontwerpen op het ene deel, afstemmen op een tweede en alleen beoordelen op een derde, onaangeroerd deel) en walk-forward-tests (herhaaldelijk opnieuw schatten op het verleden en de direct volgende periode controleren) zijn de gouden standaarden waar SurgeFlow naartoe werkt naarmate de factorhistorie groeit. - Zoek het label bruto/netto: bruto negeert kosten, netto is wat u werkelijk zou overhouden. - Lees het cijfer voor de omloopsnelheid: meer handel betekent meer kostendruk. - Zoek het in-sample/OOS-label bij de cijfers. - Beschouw elke kanttekening in het paneel als de belangrijkste tekst op de pagina.

Wat het u niet kan vertellen

Zelfs een zuivere backtest kan de toekomst niet beloven. Markten veranderen, goede ideeën worden massaal gekopieerd totdat ze niet meer werken, en het volgende decennium lijkt zelden op het vorige. Een backtest is bewijs over het verleden onder specifieke aannames, geen voorspelling. Wees vooral alert op drie verwarringen: prestaties uit het verleden zijn geen voorspelling; correlatie is geen causaliteit (twee dingen die samen bewegen hoeven elkaar niet te veroorzaken); en statistische significantie is geen economisch belang (een „echt” effect kan na kosten nog steeds te klein zijn om ertoe te doen). Niets hiervan is een advies om te kopen of te verkopen. - Vertrouwenschecklist voor beginners: is het out-of-sample, of alleen in-sample? - Is het rendement netto na realistische transactiekosten? - Zijn bedrijven die failliet gingen meegenomen (geen survivorship-bias)? - Kan de regel per ongeluk toekomstige data hebben gebruikt (look-ahead)? - Hoeveel varianten zijn uitgeprobeerd voordat deze winnaar verscheen (p-hacking)? - Blijft het voordeel overeind bij hogere kosten en een andere periode?