Tutkimuksen integriteetti: normit, joihin tämä sivusto sitoutuu

SurgeFlow'n viisi julkista sitoumusta – tutkimusta eikä neuvontaa, rehellisyys näytön suhteen, datan alkuperä, menetelmien läpinäkyvyys, – selkeästi muotoiltuina, jotta lukijat voivat vaatia sivustoa pitämään ne.

Luokka: Datan laatu

Mitä tutkimuksen integriteetti tarkoittaa ja miksi datasivusto tarvitsee sitä

Tutkimuksen integriteetti on kurinalaisuutta, jossa väite ei koskaan ylitä näyttöään. Laboratoriotieteessä se näkyy ennakkorekisteröintinä, toistotutkimuksina ja negatiivisten tulosten rehellisenä raportointina. Markkinadatasivustolla se saa arkisemman muodon: jokaisen luvun on oltava jäljitettävissä nimettyyn lähteeseen, jokaiseen mallin tulokseen on merkittävä, miten se on validoitu, datan aukkojen on oltava näkyvissä eikä niitä saa silotella pois, eikä kuvaileva kieli saa koskaan huomaamatta koventua suositukseksi. Tätä vastaan vaikuttavat paineet ovat jatkuvia ja tuttuja: varma teksti on mukavampaa luettavaa kuin varauksellinen, sileät kaaviot näyttävät paremmilta kuin aukkoiset, ja tunnusluku, joka on selvinnyt monesta hiljaisesta uusintayrityksestä, näyttää täsmälleen samalta kuin sellainen, joka toimi ensimmäisellä kerralla. Normi, joka elää vain tiimin päässä, on mieltymys eikä normi: sitä ei voi tarkistaa, joten siihen ei voi luottaa. Tämä sivu muuttaa SurgeFlow'n sisäiset työsäännöt nimenomaisiksi julkisiksi sitoumuksiksi, jotta lukijat voivat verrata niitä siihen, mitä sivusto todella julkaisee – ja osoittaa puutteet.

Mekanismi: integriteetti laskutoimituksina

Yllättävän suuri osa tutkimuksen integriteetistä palautuu pieniin laskusääntöihin, joita sovelletaan poikkeuksetta.

Monitestaus (multiple testing). Jos prosessi tekee N riippumatonta tilastollista testiä, kunkin merkitsevyystasolla alpha, väärien positiivisten odotettu määrä on E[FP] = N * alpha, missä N on tehtyjen testien määrä ja alpha todennäköisyys, että yksittäinen testi näyttää merkitsevältä pelkästä sattumasta. Kun sata seulaa ajetaan tasolla alpha = 0.05, noin viisi niistä näyttää löydöiltä, vaikka mitään todellista ei olisi. Jokaisen prosessin, joka hakee monien faktorien, parametrien tai seulojen joukosta, on siksi joko alennettava löytöjensä painoarvoa – tai julkistettava, kuinka laajasti se on hakenut.

In-sample-harha. Olkoon D_train data, jolla malli on estimoitu, ja D_test data, jota malli ei ole koskaan nähnyt. D_train-datalla mitattu suorituskyky on ylöspäin harhainen, koska estimointimenettely on jo sopeutunut kyseisen otoksen kohinaan; vain erillisellä D_test-datalla mitattu suorituskyky antaa arvion käyttäytymisestä aidosti uudella datalla. Merkintä ”in-sample” ei ole muodollisuus – se muuttaa sen, mitä luku tarkoittaa.

Numeerinen ankkurointi. Lukua koskeva tosiasiaväite voidaan tarkistaa mekaanisesti: hyväksy x_claimed vain, jos |x_claimed - x_source| / max(|x_source|, e) <= t, missä x_claimed on tekstissä esitetty luku, x_source arvo pohjana olevassa aineistossa, e pieni vakio, joka estää nollalla jakamisen, ja t sallittu suhteellinen virhe.

Fail-closed. Ankkurointisääntö yleistyy julkaisuperiaatteeksi: publish(claim) = verified(claim). Jos varmennuksen tulos on ”tuntematon”, väitettä käsitellään julkaisukelvottomana. Fail-open-järjestelmä julkaisee, ellei jotakin ole osoitettu vääräksi; fail-closed-järjestelmä julkaisee vain sen, minkä se pystyy osoittamaan, ja hyväksyy joidenkin tosien väitteiden pidättämisen hintana epätosien rajaamisesta.

Miten SurgeFlow soveltaa tätä: viisi julkista sitoumusta

SurgeFlow'n työsäännöt on kirjattu alla oleviin viiteen sitoumukseen. Ensin rehellinen varaus: nämä ovat valvottuja rajoitteita, eivät todistus oikeellisuudesta. Tarkistukset pysäyttävät ne virhetyypit, joita varten ne on rakennettu – tavoitehintoja sisältävät muotoilut, ankkuroimattomat luvut, merkitsemättömät in-sample-tulokset – eivätkä mitään muuta. Ketjun alkupään toimittajien virheet voivat silti päästä läpi, ja ihmisten kirjoittamien sivujen sääntöjenmukaisuus varmistetaan katselmoinnilla eikä koodilla. Sitoumukset: - Tutkimusta, ei koskaan sijoitusneuvontaa. Sivustolla ei ole missään tavoitehintoja eikä osta/myy/pidä-tyyppistä kieltä, ei myöskään tutkimustiivistelmissä. - Rehellisyys näytön suhteen. Näyttöön viitataan, kun sitä on; väite neutraloidaan, kun näyttöä ei ole; ja jos varmentaminen on mahdotonta, väite jätetään julkaisematta (fail closed). In-sample-tulokset merkitään aina in-sample-tuloksiksi. - Alkuperä. Jokaisesta aineistosta ilmoitetaan lähde ja päivitystiheys. Puuttuva data näytetään puuttuvana – sitä ei koskaan täydennetä hiljaa, jotta kaavio näyttäisi ehjältä. - Menetelmien läpinäkyvyys. Sivuston analyysien taustalla olevat kaavat, seulat ja tarkistukset julkaistaan tässä liitteessä, jotta tulokset voidaan toistaa tai kyseenalaistaa. - Ankkurointi. Tutkimusväitteiden on oltava jäljitettävissä pohjana olevaan dataan.

Mitä SurgeFlow'n dataa tähän käytetään

Nämä sitoumukset koskevat yhtäläisesti kaikkia neljää SurgeFlow'n kattamaa markkinaa: Yhdysvaltoja, Kiinaa, Japania ja Hongkongia. Alkuperä on normin konkreettinen ilmentymä: kunkin markkinan datasta ilmoitetaan toimittaja, ja jokaisella toimittajalla on omat käytäntönsä ja omat heikot kohtansa – juuri siksi lähteen on pysyttävä liitettynä lukuun. Jos lähteestä puuttuu jonkin yhtiön kohdalla kenttä, kenttä näytetään sivustolla puuttuvana; aukko itsessään on tietoa lähteestä. - Yhdysvallat: fundamenttitiedot ja kurssit Financial Modeling Prepin (FMP) kautta. - Kiina ja Hongkong: Tusharen kautta. - Japani: markkinadata J-Quantsin kautta, viranomaisilmoitukset EDINETistä.

Miksi fail-closed: tutkimusvirheiden epäsymmetria

Miksi fail-closed eikä fail-open? Koska nämä kaksi virhetyyppiä eivät ole symmetrisiä. Tosi väite, joka jää julkaisematta, vie lukijalta hieman ymmärrystä; epätosi väite, joka julkaistaan, voi huomaamatta vaikuttaa päätöksiin, ja rahoitusdataa tarjoavalla sivustolla lukija voi toimia sen perusteella kauan ennen kuin kukaan huomaa virhettä. Fail-closed rajaa pahimman tapauksen vahingon keskimääräisen tapauksen kustannuksella. Sama epäsymmetria selittää säännön merkitä in-sample-tulokset. Backtestien ylisovittamista käsittelevä kirjallisuus osoittaa, kuinka varmasti riittävän monen konfiguraation läpikäynti tuottaa vaikuttavan historiallisen käyrän ja kuinka vähän tuo käyrä kertoo tulevasta. SurgeFlow ei voi tehdä ylisovittamisesta mahdotonta – kukaan ei voi – mutta se voi kieltäytyä ottamasta sitä yhtä askelta, joka tekee ylisovittamisesta näkymätöntä: esittämästä in-sample-tulosta sanamuodoin, jotka antavat ymmärtää sen olleen ennuste.

Tutki itse

Jokainen tämän sivun väite voidaan tarkistaa samasta datasta, jota sivusto käyttää. Maksuton (beta) API-avain on saatavilla osoitteessa /account, ja sen rajana on 2,000 pyyntöä päivässä. Koko rajapinta on dokumentoitu OpenAPI-määrityksessä osoitteessa /api/public/openapi.json. Data tarjotaan tutkimusta varten, ei signaaleiksi: hae sivun taustalla olevat raakasarjat, laske luku uudelleen ja vertaa sitä sivuston näyttämään. Jos ne eivät täsmää, kyse on juuri sellaisesta puutteesta, jonka näiden normien on tarkoitus tuoda esiin.

Lähteet ja lisälukemista

Edellä esitettyjen väitteiden ensisijaiset lähteet, akateemiset lähteet ja SurgeFlow'n datalähteet: - Ioannidis, J. P. A. (2005). “Why Most Published Research Findings Are False.” PLoS Medicine. - Leamer, E. E. (1983). “Let's Take the Con Out of Econometrics.” American Economic Review. - Lo, A. W., and MacKinlay, A. C. (1990). “Data-Snooping Biases in Tests of Financial Asset Pricing Models.” Review of Financial Studies. - White, H. (2000). “A Reality Check for Data Snooping.” Econometrica. - Harvey, C. R., Liu, Y., and Zhu, H. (2016). “… and the Cross-Section of Expected Returns.” Review of Financial Studies. - Bailey, D. H., Borwein, J. M., López de Prado, M., and Zhu, Q. J. (2014). “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance.” Notices of the American Mathematical Society. - SurgeFlow'n reitit: /research (tutkimuskirjasto), /methodology/factor-research (faktorimenetelmät ja tarkistukset), /account (API-käyttöoikeus).