Kun tutkija jää kiinni tiedevilpistä, media käsittelee sitä usein sensaatiohakuisesti. Saatetaan kirjoittaa tiedevilpin yleistymisestä ja siitä, että se rapauttaa uskoa tieteen uskottavuuteen. Paljastuneet tapaukset ovat vain jäävuoren huippu, sanotaan.
Varmasti onkin totta, että kaikkea tiedevilppiä ei huomata. Voidaanko kuitenkaan puhua jäävuoresta, kun parhaissakin selvityksissä vain noin kaksi prosenttia tutkijoista on syyllistynyt tiedevilppiin? Australialaisen Bond-yliopiston professorin Paul Glaszioun mukaan onkin olemassa toinen jäävuori – johon paitsi kielikuva todella sopii – josta on syytä olla paljon enemmän huolissaan. Glasziou tarkoittaa huonosti ja huolimattomasti tehtyjä tutkimuksia, joista on hänen mukaansa tullut epidemian kaltainen ongelma lääketieteellisessä tutkimuksessa. Glaszioun mukaan valtaosa lääketieteellisestä tutkimuksesta on käytännössä hyödytöntä. Ongelma ei siis ole jäävuoren huippu, vaan se, että itse perusta on heikentynyt huolestuttavalla tavalla.
Glaszioun väitteet perustuvat tutkimusnäyttöön. Hän työskentelee näyttöön perustuvan lääketieteen professorina Bondin yliopistossa, ja hän on aiemmin toiminut Oxfordin yliopistossa näyttöön perustuvan lääketieteen keskuksen johtajana. Yksi hänen tutkimuskysymyksiään on ollut selvittää, mitkä tekijät estävät näyttöön perustuvan lääketieteen toteutumista terveydenhuollossa. Glaszioun mukaan tärkeä osa ongelmaa ovat juuri huonot tutkimukset, jotka eivät todista mitään.
Glaszioun tutkimus tulee lähelle tutkimusten toistettavuuden ongelmaa, josta on puhuttu tiedemaailmassa viime vuosina valtavasti. Vaikka keskustelu on käyty pääasiassa akateemisessa yhteisössä, kyse on ollut myös tieteen uskottavuudesta. Empiirisissä tieteissä lähtökohtana on, että yksikään tutkimus ei ole uskottava ennen kuin se on toistettu; muiden tutkijoiden tulee toisin sanoen päätyä samoin menetelmin ja samoin materiaalein samoihin tuloksiin. Kun tutkimus on toistettu onnistuneesti – mieluusti useammin kuin kerran – sen pohjalta voidaan suunnitella jatkotutkimuksia. ”Ei toistoa, ei tiedettä”, onkin usein kuultu motto akatemiassa.
Tiedeyhteisö on kuitenkin tutkimusten toistettavuuden vuoksi kriisissä – ja on ollut jo useita vuosia. Yhä useampi tutkimus jää toistamatta, mikä tarkoittaa käytännössä valtavaa materiaalien, työn ja rahan tuhlausta. Vuonna 2015 PLoS Biology -sarjassa julkaistussa tutkimusraportissa arvioitiin, että pelkästään Yhdysvalloissa tuotetaan vuodessa 28 miljardin arvosta tutkimusta, jota ei kyetä toistamaan. Se on valtava rahasumma kankkulan kaivoon. Globaalisti summa on luonnollisesti vielä huomattavasti suurempi.
Mitä tämä tarkoittaa käytännössä? Lääkeyhtiö Amgenin sadan tutkijan tiimi koetti vahvistaa 53:n tuoreen syöpää koskevan keskeisen tutkimuksen tulokset. He onnistuivat vain kuudessa tapauksessa 53:sta. Näin alhainen onnistumisprosentti – 11% – oli shokeeraava. Toisessa tutkimuksessa lääkeyhtiö Bayerin tutkijat koettivat toistaa 67 keskeisen tutkimuksen tulokset syöpätutkimuksen, naistentautien ja sydän- ja verisuonitautien aloilta. He onnistuivat vain 14:ssa tapauksessa 67:stä, eli onnistumisprosentti oli 21.
Lääketieteellinen tutkimusjäte
Nämä tulokset ovat jo sinällään huono lähtökohta lääkekehitykselle – jos tulokset eivät ole toistettavissa, ne eivät todennäköisesti pidä paikkaansa – mutta asialla on myös kerrannaisvaikutuksia. Monet tutkijat eivät nimittäin jää odottamaan tuloksen toistamista (tai sen epäonnistumista), vaan jatkavat harhaanjohtavan tutkimuksen pohjalta omaa työtään. Nämä tutkimuslinjat voivat edetä hyvinkin pitkälle ennen kuin alkuperäinen tutkimus poksahtaa kuin saippuakupla – ja samoin käy silloin todennäköisesti monille jatkotutkimuslinjoillekin.
Glaszioun näkökulma on toistettavuuden ongelmaa hieman laajempi. Hän arvioi, että noin 85 prosenttia lääketieteellisestä tutkimuksesta on käytännössä jätettä. Glaszioun väite perustuu arvostetussa The Lancet -lehdessä vuonna 2014 julkaistuun viiden artikkelin sarjaan. Kelvottoman tutkimuksen osuus nousee huolestuttavan korkeaksi seuraavista syistä:
• Noin 50 prosenttia kliinisistä tutkimuksista jätetään yksinkertaisesti julkaisematta. Tämä on helppo selvittää, koska suuri osa kliinisistä kokeista rekisteröidään johonkin tietokantaan. Kun aloitettuja/rekisteröityjä tutkimuksia verrattiin julkaistuihin, havaittiin, että noin joka toinen jää julkaisematta.
• Noin 50 prosenttia julkaistuista tutkimuksista sisältää niin merkittäviä raportointiin liittyviä ongelmia, että ne eivät ole toistettavissa. Toistettavuuden kannalta tutkijoiden on erittäin tärkeää kuvata menetelmät ja hoidot mahdollisimman tarkasti, koska vain siten toiset ryhmät voivat toistaa tulokset. Jos kuvaus on puutteellinen, tutkimuksen toistaminen on mahdotonta.
