Research-Integrität: die Standards, an denen sich diese Website messen lässt

Die fünf öffentlichen Zusagen von SurgeFlow – Research statt Beratung, Ehrlichkeit bei der Evidenz, Datenherkunft, Transparenz der Methodik, – klar formuliert, damit Leser die Website daran messen können.

Kategorie: Datenqualität

Was Research-Integrität bedeutet und warum eine Datenwebsite sie braucht

Research-Integrität ist die Disziplin, eine Aussage nie weiter reichen zu lassen als ihre Evidenz. In der Laborwissenschaft zeigt sie sich als Präregistrierung, Replikation und ehrliche Berichterstattung über negative Ergebnisse. Auf einer Website mit Marktdaten nimmt sie eine nüchternere Form an: Jede Zahl muss sich auf eine benannte Quelle zurückführen lassen, jedes Modellergebnis muss danach gekennzeichnet sein, wie es validiert wurde, Datenlücken müssen sichtbar bleiben, statt überdeckt zu werden, und beschreibende Sprache darf sich nie unbemerkt zu einer Empfehlung verhärten. Der Druck, der dem entgegenwirkt, ist beständig und bekannt – selbstsichere Texte lesen sich besser als vorsichtige, glatte Charts sehen besser aus als lückenhafte, und eine Kennzahl, die viele stille Wiederholungsversuche überstanden hat, sieht genauso aus wie eine, die beim ersten Mal funktioniert hat. Ein Standard, der nur in den Köpfen eines Teams existiert, ist eine Präferenz, kein Standard: Er lässt sich nicht überprüfen, also kann man ihm nicht vertrauen. Diese Seite macht aus den internen Arbeitsregeln von SurgeFlow ausdrückliche öffentliche Zusagen, damit Leser sie an dem messen können, was die Website tatsächlich veröffentlicht – und Versäumnisse benennen können.

Die Mechanik: Integrität als Rechenarbeit

Ein überraschend großer Teil der Research-Integrität lässt sich auf kleine Rechenregeln zurückführen, die ausnahmslos angewendet werden.

Multiples Testen. Führt ein Prozess N unabhängige statistische Tests durch, jeweils zum Signifikanzniveau alpha, so beträgt die erwartete Zahl falsch positiver Ergebnisse E[FP] = N * alpha, wobei N die Zahl der durchgeführten Tests ist und alpha die Wahrscheinlichkeit, dass ein einzelner Test rein zufällig signifikant erscheint. Wer hundert Screens bei alpha = 0.05 laufen lässt, erhält etwa fünf scheinbare Entdeckungen, selbst wenn nichts Echtes existiert. Jede Pipeline, die über viele Faktoren, Parameter oder Screens sucht, muss ihre Funde daher mit einem Abschlag versehen – oder die Suche offenlegen.

In-Sample-Verzerrung. D_train bezeichne die Daten, an die ein Modell angepasst wurde, und D_test die Daten, die es nie gesehen hat. Die auf D_train gemessene Performance ist nach oben verzerrt, weil sich das Schätzverfahren bereits an das Rauschen dieser Stichprobe angepasst hat; nur die Performance auf einem disjunkten D_test schätzt das Verhalten auf wirklich neuen Daten. Die Kennzeichnung „in-sample“ ist keine Formalie – sie verändert, was eine Zahl bedeutet.

Numerische Verankerung. Eine Tatsachenbehauptung über eine Zahl lässt sich mechanisch prüfen: x_claimed wird nur akzeptiert, wenn |x_claimed - x_source| / max(|x_source|, e) <= t, wobei x_claimed die im Text genannte Zahl ist, x_source der Wert im zugrunde liegenden Datensatz, e eine kleine Konstante, die eine Division durch null verhindert, und t der tolerierte relative Fehler.

Fail-closed. Die Verankerungsregel lässt sich zu einer Veröffentlichungsregel verallgemeinern: publish(claim) = verified(claim). Liefert die Verifikation „unbekannt“, gilt die Aussage als nicht veröffentlichbar. Ein Fail-open-System veröffentlicht, solange nichts als falsch erwiesen ist; ein Fail-closed-System veröffentlicht nur, was es belegen kann, und nimmt in Kauf, dass manche wahre Aussage zurückgehalten wird – als Preis dafür, die falschen zu begrenzen.

Wie SurgeFlow das anwendet: fünf öffentliche Zusagen

Die Arbeitsregeln von SurgeFlow sind in den fünf folgenden Zusagen festgeschrieben. Vorab ein ehrlicher Hinweis: Es handelt sich um durchgesetzte Beschränkungen, nicht um ein Zertifikat der Richtigkeit. Die Kontrollen erfassen die Fehlerklassen, für die sie gebaut wurden – Formulierungen mit Kurszielen, nicht verankerte Zahlen, ungekennzeichnete In-Sample-Ergebnisse – und nichts darüber hinaus. Fehler vorgelagerter Datenanbieter können weiterhin durchrutschen, und von Menschen verfasste Seiten werden per Review statt per Code an dieselben Regeln gebunden. Die Zusagen: - Research, niemals Anlageberatung. Nirgendwo auf der Website Kursziele oder Formulierungen wie Kaufen/Verkaufen/Halten, auch nicht in Research-Zusammenfassungen. - Ehrlichkeit bei der Evidenz. Evidenz zitieren, wenn sie existiert; die Aussage neutralisieren, wenn sie fehlt; im Zweifel nicht veröffentlichen (fail closed), wenn eine Verifikation unmöglich ist. In-Sample-Ergebnisse werden stets als in-sample gekennzeichnet. - Herkunft. Jeder Datensatz nennt seine Quelle und seinen Aktualisierungsrhythmus. Fehlende Daten werden als fehlend ausgewiesen – sie werden nie stillschweigend aufgefüllt, damit ein Chart vollständig wirkt. - Transparenz der Methodik. Die Formeln, Screens und Kontrollen hinter den Analysen der Website werden in diesem Anhang veröffentlicht, damit Ergebnisse reproduziert oder angefochten werden können. - Verankerung. Research-Aussagen müssen sich auf die zugrunde liegenden Daten zurückführen lassen.

Welche SurgeFlow-Daten hier verwendet werden

Diese Zusagen gelten einheitlich für die vier Märkte, die SurgeFlow abdeckt – die USA, China, Japan und Hongkong. Die Herkunft ist das konkrete Gesicht des Standards: Die Daten jedes Marktes nennen ihren Anbieter, und jeder Anbieter hat eigene Konventionen und eigene Schwachstellen – genau deshalb muss die Quelle an der Zahl haften bleiben. Fehlt einer Quelle für ein bestimmtes Unternehmen ein Feld, wird dieses Feld auf der Website als fehlend dargestellt – die Lücke selbst ist eine Information über die Quelle. - USA: Fundamentaldaten und Kurse über Financial Modeling Prep (FMP). - China und Hongkong: über Tushare. - Japan: Marktdaten über J-Quants, mit Pflichtveröffentlichungen aus EDINET.

Warum fail-closed: die Asymmetrie von Research-Fehlern

Warum fail-closed und nicht fail-open? Weil die beiden Fehlerarten nicht symmetrisch sind. Eine wahre Aussage, die unveröffentlicht bleibt, kostet den Leser etwas Erkenntnis; eine falsche Aussage, die veröffentlicht wird, kann Entscheidungen unbemerkt prägen, und auf einer Website mit Finanzdaten handelt der Leser womöglich, lange bevor jemand den Fehler bemerkt. Fail-closed begrenzt den Schaden im schlimmsten Fall, auf Kosten des Durchschnittsfalls. Dieselbe Asymmetrie erklärt die Regel, In-Sample-Ergebnisse zu kennzeichnen. Die Literatur zum Backtest-Overfitting zeigt, wie zuverlässig eine Suche über genügend Konfigurationen eine eindrucksvolle historische Kurve hervorbringt und wie wenig diese Kurve über die Zukunft aussagt. SurgeFlow kann Overfitting nicht unmöglich machen – das kann niemand –, aber es kann den einen Schritt verweigern, der Overfitting unsichtbar macht: ein In-Sample-Ergebnis in einer Sprache zu präsentieren, die nahelegt, es sei eine Prognose gewesen.

Selbst erkunden

Jede Aussage auf dieser Seite lässt sich anhand derselben Daten überprüfen, die die Website verwendet. Ein kostenloser API-Schlüssel (Beta) ist unter /account erhältlich, mit einem Limit von 2,000 Anfragen pro Tag, und die vollständige Schnittstelle ist in der OpenAPI-Spezifikation unter /api/public/openapi.json dokumentiert. Die Daten werden für Research bereitgestellt, nicht als Signale: Rufen Sie die Rohreihen hinter einer Seite ab, berechnen Sie eine Kennzahl neu und vergleichen Sie sie mit dem, was die Website anzeigt. Stimmen sie nicht überein, ist das genau die Art von Fehler, die diese Standards zutage fördern sollen.

Quellen und weiterführende Literatur

Primäre, akademische und SurgeFlow-Datenquellen zu den obigen Aussagen: - Ioannidis, J. P. A. (2005). “Why Most Published Research Findings Are False.” PLoS Medicine. - Leamer, E. E. (1983). “Let's Take the Con Out of Econometrics.” American Economic Review. - Lo, A. W., and MacKinlay, A. C. (1990). “Data-Snooping Biases in Tests of Financial Asset Pricing Models.” Review of Financial Studies. - White, H. (2000). “A Reality Check for Data Snooping.” Econometrica. - Harvey, C. R., Liu, Y., and Zhu, H. (2016). “… and the Cross-Section of Expected Returns.” Review of Financial Studies. - Bailey, D. H., Borwein, J. M., López de Prado, M., and Zhu, Q. J. (2014). “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance.” Notices of the American Mathematical Society. - SurgeFlow-Routen: /research (Research-Bibliothek), /methodology/factor-research (Faktormethodik und Kontrollen), /account (API-Zugang).