Onderzoeksintegriteit: de normen waaraan deze site zichzelf houdt

De vijf publieke toezeggingen van SurgeFlow – onderzoek en geen advies, eerlijkheid over bewijs, herkomst van data, transparantie over methodologie, – helder geformuleerd zodat lezers de site erop kunnen aanspreken.

Categorie: Datakwaliteit

Wat onderzoeksintegriteit betekent en waarom een datasite die nodig heeft

Onderzoeksintegriteit is de discipline om een bewering nooit verder te laten gaan dan het bewijs. In de laboratoriumwetenschap uit zich dat in preregistratie, replicatie en het eerlijk rapporteren van negatieve resultaten. Op een site met marktdata krijgt het een alledaagsere vorm: elk getal moet herleidbaar zijn tot een benoemde bron, elke modeluitkomst moet worden gelabeld naar de manier waarop die is gevalideerd, hiaten in de data moeten zichtbaar zijn in plaats van weggepoetst, en beschrijvende taal mag nooit ongemerkt verharden tot een aanbeveling. De druk die hiertegenin werkt, is constant en bekend: stellige teksten lezen prettiger dan voorzichtige, vloeiende grafieken zien er beter uit dan grafieken met gaten, en een statistiek die vele stille herkansingen heeft overleefd, ziet er precies zo uit als een die de eerste keer al werkte. Een norm die alleen in de hoofden van een team bestaat, is een voorkeur en geen norm: hij is niet te controleren en dus niet te vertrouwen. Deze pagina zet de interne werkregels van SurgeFlow om in expliciete publieke toezeggingen, zodat lezers ze kunnen toetsen aan wat de site daadwerkelijk publiceert – en de tekortkomingen kunnen benoemen.

Het mechanisme: integriteit als rekenwerk

Een verrassend groot deel van onderzoeksintegriteit komt neer op kleine rekenregels die zonder uitzondering worden toegepast.

Meervoudig toetsen (multiple testing). Als een proces N onafhankelijke statistische toetsen uitvoert, elk op significantieniveau alpha, dan is het verwachte aantal fout-positieven E[FP] = N * alpha, waarbij N het aantal uitgevoerde toetsen is en alpha de kans dat één toets puur door toeval significant lijkt. Voer honderd screens uit bij alpha = 0.05 en ongeveer vijf ervan zullen op ontdekkingen lijken, ook als er niets echts bestaat. Elke pijplijn die over veel factoren, parameters of screens zoekt, moet wat zij vindt dus verdisconteren – of de zoektocht openbaar maken.

In-sample vertekening. Noem D_train de data waarop een model is geschat en D_test de data die het nooit heeft gezien. Prestaties gemeten op D_train zijn opwaarts vertekend, omdat de schattingsprocedure zich al heeft aangepast aan de ruis in die steekproef; alleen prestaties op een disjuncte D_test geven een schatting van het gedrag op werkelijk nieuwe data. Het label “in-sample” is geen formaliteit – het verandert wat een getal betekent.

Numerieke verankering. Een feitelijke bewering over een getal kan mechanisch worden gecontroleerd: accepteer x_claimed alleen als |x_claimed - x_source| / max(|x_source|, e) <= t, waarbij x_claimed het getal is dat in de tekst staat, x_source de waarde in de onderliggende dataset, e een kleine constante die deling door nul voorkomt, en t de toegestane relatieve fout.

Fail-closed. De verankeringsregel laat zich veralgemenen tot een publicatiebeleid: publish(claim) = verified(claim). Als de verificatie ‘onbekend’ oplevert, wordt de bewering als niet-publiceerbaar behandeld. Een fail-open systeem publiceert tenzij is aangetoond dat iets onjuist is; een fail-closed systeem publiceert alleen wat het kan aantonen, en accepteert dat sommige ware uitspraken worden achtergehouden als prijs voor het beperken van de onware.

Hoe SurgeFlow dit toepast: vijf publieke toezeggingen

De werkregels van SurgeFlow zijn vastgelegd in de vijf toezeggingen hieronder. Eerst een eerlijke kanttekening: dit zijn afgedwongen beperkingen, geen certificaat van juistheid. De controles vangen de soorten fouten op waarvoor ze zijn gebouwd – formuleringen met koersdoelen, niet-verankerde getallen, ongelabelde in-sample resultaten – en niets meer. Fouten van leveranciers verderop in de keten kunnen er nog steeds doorheen glippen, en door mensen geschreven pagina's worden via review aan dezelfde regels gehouden in plaats van via code. De toezeggingen: - Onderzoek, nooit beleggingsadvies. Nergens op de site koersdoelen of taal als kopen/verkopen/aanhouden, ook niet in onderzoekssamenvattingen. - Eerlijkheid over bewijs. Citeer bewijs als het bestaat; neutraliseer de bewering als het ontbreekt; faal gesloten (fail closed) als verificatie onmogelijk is. In-sample resultaten worden altijd als in-sample gelabeld. - Herkomst. Elke dataset vermeldt de bron en de verversingsfrequentie. Ontbrekende data wordt als ontbrekend getoond – nooit stilzwijgend aangevuld om een grafiek compleet te laten lijken. - Transparantie over methodologie. De formules, screens en controles achter de analyses van de site worden in deze appendix gepubliceerd, zodat resultaten kunnen worden gereproduceerd of betwist. - Verankering. Onderzoeksbeweringen moeten herleidbaar zijn tot de onderliggende data.

Welke SurgeFlow-data hiervoor wordt gebruikt

Deze toezeggingen gelden in gelijke mate voor de vier markten die SurgeFlow dekt: de Verenigde Staten, China, Japan en Hongkong. Herkomst is het concrete gezicht van de norm: de data van elke markt vermeldt de leverancier, en elke leverancier heeft eigen conventies en eigen zwakke plekken – precies daarom moet de bron aan het getal gekoppeld blijven. Waar een bron voor een bepaald bedrijf een veld mist, wordt dat veld op de site als ontbrekend weergegeven; het hiaat zelf is informatie over de bron. - VS: fundamentele gegevens en koersen via Financial Modeling Prep (FMP). - China en Hongkong: via Tushare. - Japan: marktdata via J-Quants, met deponeringen uit EDINET.

Waarom fail-closed: de asymmetrie van onderzoeksfouten

Waarom fail-closed en niet fail-open? Omdat de twee soorten fouten niet symmetrisch zijn. Een ware uitspraak die niet wordt gepubliceerd, kost een lezer enig inzicht; een onware uitspraak die wel wordt gepubliceerd, kan ongemerkt beslissingen beïnvloeden, en op een site met financiële data kan de lezer al handelen lang voordat iemand de fout opmerkt. Fail-closed begrenst de schade in het slechtste geval, ten koste van het gemiddelde geval. Dezelfde asymmetrie verklaart de regel om in-sample resultaten te labelen. De literatuur over backtest-overfitting laat zien hoe betrouwbaar een zoektocht over voldoende configuraties een indrukwekkende historische curve oplevert, en hoe weinig die curve over de toekomst zegt. SurgeFlow kan overfitting niet onmogelijk maken – niemand kan dat – maar kan wel weigeren de ene stap te zetten die overfitting onzichtbaar maakt: een in-sample resultaat presenteren in bewoordingen die suggereren dat het een voorspelling was.

Verken het zelf

Elke bewering op deze pagina is te controleren aan de hand van dezelfde data die de site gebruikt. Een gratis (bèta) API-sleutel is beschikbaar op /account, met een limiet van 2,000 verzoeken per dag, en de volledige interface is gedocumenteerd in de OpenAPI-specificatie op /api/public/openapi.json. De data wordt aangeboden voor onderzoek, niet als signalen: vraag de ruwe reeksen achter een pagina op, bereken een cijfer opnieuw en vergelijk het met wat de site toont. Als ze niet overeenkomen, is dat precies het soort tekortkoming dat deze normen aan het licht moeten brengen.

Bronnen en verdere literatuur

Primaire, academische en SurgeFlow-databronnen voor de bovenstaande beweringen: - Ioannidis, J. P. A. (2005). “Why Most Published Research Findings Are False.” PLoS Medicine. - Leamer, E. E. (1983). “Let's Take the Con Out of Econometrics.” American Economic Review. - Lo, A. W., and MacKinlay, A. C. (1990). “Data-Snooping Biases in Tests of Financial Asset Pricing Models.” Review of Financial Studies. - White, H. (2000). “A Reality Check for Data Snooping.” Econometrica. - Harvey, C. R., Liu, Y., and Zhu, H. (2016). “… and the Cross-Section of Expected Returns.” Review of Financial Studies. - Bailey, D. H., Borwein, J. M., López de Prado, M., and Zhu, Q. J. (2014). “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance.” Notices of the American Mathematical Society. - SurgeFlow-routes: /research (onderzoeksbibliotheek), /methodology/factor-research (factormethodologie en controles), /account (API-toegang).