Wann Sie einem Backtest vertrauen können (und wann nicht)
Ein Leitfaden für Einsteiger zu den Verzerrungen, die Backtests irreführend machen, und dazu, wie Sie ein Ergebnis mit gesunder Skepsis lesen.
Kategorie: Backtesting
Einfach erklärt
Ein Backtest fragt: „Was wäre passiert, wenn ich dieser Regel in der Vergangenheit gefolgt wäre?“ Sie nehmen eine Strategie, spielen die Historie noch einmal durch und sehen, wie sich das fiktive Geld entwickelt hätte. Der Haken: Es ist sehr leicht, einen Backtest zu bauen, der auf dem Papier brillant aussieht, aber nie real war. Die eigentliche Kunst besteht darin zu lernen, welchen Backtests Sie vertrauen können und welchen nicht. Dieser Artikel ist eine Checkliste der häufigsten Fallen, erklärt an kleinen Beispielen. - Ein Backtest ist ein Was-wäre-wenn-Durchlauf der Historie, keine Aufzeichnung realer Trades. - Ein schönes Ergebnis kann ein Zufall, ein Fehler oder eine Illusion sein. - Einem Backtest zu vertrauen heißt, zu prüfen, wie er gebaut wurde, nicht nur, welche Rendite er zeigt.
Was er misst
Ein vertrauenswürdiger Backtest misst, wie eine Regel unter ehrlichen, realistischen Bedingungen abgeschnitten hätte. Die größten Feinde sind Verzerrungen, die unbemerkt die Zukunft in die Vergangenheit einsickern lassen oder Kosten und Fehlschläge verbergen. Hier sind die wichtigsten, jeweils mit einem einfachen Beispiel. Beachten Sie: Fast jede Falle lässt das Ergebnis besser aussehen als die Realität, nie schlechter. - Look-ahead-Bias: Verwendung von Informationen, die Sie damals noch nicht kennen konnten. Beispiel: der Backtest eines Trades am Montag, der einen Ergebnisbericht nutzt, der tatsächlich erst später in jener Woche veröffentlicht wurde. - Survivorship-Bias: Es werden nur Unternehmen getestet, die heute noch existieren, sodass alle Insolvenzen verschwinden und die Ergebnisse zu rosig aussehen. - Selection-Bias: die gezielte Wahl eines vorteilhaften Zeitfensters, etwa nur 2010 bis 2020 zu testen und 2008 auszulassen. - Data Snooping / p-Hacking: 200 Regeln ausprobieren und diejenige behalten, die durch Glück gewonnen hat. Lässt man genug Leute eine Münze werfen, wirft einer 10-mal in Folge Kopf. - Overfitting: eine Regel, die so stark auf die Vergangenheit abgestimmt ist, dass sie Rauschen auswendig gelernt hat; auf alten Daten glänzt sie, auf neuen versagt sie. - Survivorship und Look-ahead sind die beiden Verzerrungen, die am häufigsten aus einer Verlustidee einen scheinbaren Gewinner machen.
Wie SurgeFlow ihn verwendet
Der Backtesting-Tab von SurgeFlow (/backtest/benchmark) stellt diese Ehrlichkeitskontrollen in einem Panel „Test Assumptions“ (Testannahmen) in den Mittelpunkt, damit Sie keine Zahl auf Treu und Glauben hinnehmen müssen. Es nennt offen das Universum, den Testzeitraum, die angesetzten Kosten und die bekannten Schwächen. Zwei Unterscheidungen sind am wichtigsten. In-sample bedeutet, dass das Ergebnis auf derselben Historie gemessen wurde, mit der die Regel entworfen wurde; out-of-sample (OOS) bedeutet, dass es auf frischen, späteren Daten getestet wurde, die die Regel nie gesehen hat – ein weitaus stärkerer Beleg. SurgeFlow kennzeichnet seinen Faktor-Backtest derzeit als in-sample (er zeigt „0 OOS“), statt etwas anderes vorzugeben. - Point-in-Time-Eingaben: Es wird versucht, nur Daten zu verwenden, die am jeweiligen historischen Tag verfügbar waren, was den Look-ahead-Bias verringert (mit dem Eingeständnis, dass die Datumsangaben außerhalb der USA schwächer sind). - Transaktionskosten: Je Markt werden asymmetrische Kauf- und Verkaufsgebühren abgezogen, sodass die ausgewiesenen Renditen netto nach Kosten sind, keine Brutto-Illusion. - Survivorship: offen gekennzeichnet, weil das Universum aus den heute überlebenden Titeln rekonstruiert wird. - Publikations-Gates: Ein Ergebnis muss Ehrlichkeitskontrollen bestehen, bevor es gezeigt wird, und unausgereifte Daten werden als Research gekennzeichnet, nicht als Beleg.
So lesen Sie ihn auf der Website
Beginnen Sie mit dem Panel „Test Assumptions“, noch bevor Sie auf die Rendite schauen. Prüfen Sie, ob das Ergebnis in-sample oder out-of-sample, brutto oder netto ist und wie viel Handel dafür nötig war. Die Umschlagshäufigkeit (Turnover) gibt an, wie oft die Strategie Positionen austauscht; eine hohe Umschlagshäufigkeit zusammen mit realen Kosten kann den gesamten Vorteil unbemerkt aufzehren. Eine Aufteilung in Training, Validierung und Test (Entwurf auf einem Abschnitt, Feinabstimmung auf einem zweiten und Beurteilung ausschließlich auf einem dritten, unberührten Abschnitt) sowie Walk-forward-Tests (wiederholtes Neuanpassen auf der Vergangenheit und Prüfen der unmittelbar folgenden Periode) sind die Goldstandards, auf die SurgeFlow mit wachsender Faktorhistorie hinarbeitet. - Suchen Sie die Kennzeichnung brutto vs. netto: Brutto ignoriert Kosten, netto ist das, was Ihnen tatsächlich bliebe. - Lesen Sie die Umschlagshäufigkeit: Mehr Handel bedeutet mehr Kostenbelastung. - Achten Sie auf das Label in-sample / OOS neben den Kennzahlen. - Behandeln Sie jeden Vorbehalt im Panel als den wichtigsten Text der Seite.
Was er Ihnen nicht sagen kann
Selbst ein sauberer Backtest kann die Zukunft nicht versprechen. Märkte verändern sich, gute Ideen werden so lange von der Masse kopiert, bis sie nicht mehr funktionieren, und das nächste Jahrzehnt gleicht selten dem vergangenen. Ein Backtest ist ein Beleg über die Vergangenheit unter bestimmten Annahmen, keine Prognose. Seien Sie bei drei Verwechslungen besonders vorsichtig: Vergangene Performance ist keine Vorhersage; Korrelation ist keine Kausalität (zwei Dinge, die sich gemeinsam bewegen, müssen einander nicht verursachen); und statistische Signifikanz ist keine ökonomische Bedeutung (ein „echter“ Effekt kann nach Kosten immer noch zu klein sein, um eine Rolle zu spielen). Nichts davon ist eine Kauf- oder Verkaufsempfehlung. - Vertrauens-Checkliste für Einsteiger: Ist das Ergebnis out-of-sample oder nur in-sample? - Ist die Rendite netto nach realistischen Transaktionskosten? - Sind gescheiterte Unternehmen enthalten (kein Survivorship-Bias)? - Könnte die Regel versehentlich künftige Daten verwendet haben (Look-ahead)? - Wie viele Varianten wurden ausprobiert, bevor dieser Gewinner auftauchte (p-Hacking)? - Hält der Vorteil auch höheren Kosten und einem anderen Zeitfenster stand?