Perustieteiden korkeakoulu
Tieteestä tulevaisuuden teknologiaa, innovaatioita ja liiketoimintaa.
Sadan tutkimuksen uudelleenanalyysi paljastaa: johtopäätökset riippuvat paljolti tekijästä
Tutkijat tekivät satoja uudelleenanalyyseja sadasta aiemmin julkaistusta sosiaali- ja käyttäytymistieteiden tutkimuksesta. Samoihin johtopäätöksiin päästiin vain joka kolmannessa uudelleenanalyysissa.
Yli 450 riippumatonta tutkijaa eri puolilta maailmaa teki yli 500 uudelleenanalyysia sadasta aiemmin julkaistusta sosiaali- ja käyttäytymistieteellisen tutkimuksen aineistoista. Kaikki analyytikot saivat saman aineiston ja saman keskeisen tutkimuskysymyksen, mutta heille annettiin vapaus toteuttaa analyysi oman asiantuntija-arvionsa perusteella. Tutkimus paljasti, että tieteelliset johtopäätökset voivat muuttua merkittävästi riippuen siitä, kuka analyysin tekee.
”Tutkijat päätyivät samoihin johtopäätöksiin kuin alkuperäiset kirjoittajat vain joka kolmannen artikkelin kohdalla”, sanoo Aalto-yliopiston data-analyytikko Enrico Glerean.
Tulokset ovat peräisin laajasta kansainvälisestä yhteistyöstä, jota johtivat Balázs Aczél ja Barnabás Szászi unkarilaisista Eötvös Loránd- ja Corvinus-yliopistoista. Tutkimusartikkeli ”Investigating the analytical robustness of the social and behavioural sciences” on juuri julkaistu Nature-lehdessä. Tutkimus oli myös osa 865 tutkijan Systematizing Confidence in Open Research and Evidence (SCORE) -hanketta.
”Tutkimus oli valtava ponnistus: sadat ihmiset analysoivat julkaistuja tutkimuksia uudelleen arvioidakseen, kuinka hyvin niiden tulokset pystytään toistamaan”, Glerean sanoo.
Enrico GlereanTutkijat päätyivät samoihin johtopäätöksiin kuin alkuperäiset kirjoittajat vain joka kolmannen artikkelin kohdalla
Erot johtopäätöksissä eivät johdu osaamisen puutteesta
Viime vuosikymmenen aikana sosiaali- ja käyttäytymistieteissä on toteutettu merkittäviä uudistuksia, joiden tavoitteena on ollut tehdä tutkimuksesta läpinäkyvämpää, johdonmukaisempaa ja luotettavampaa. Yksi tärkeä kysymys saa kuitenkin yhä enemmän huomiota: missä määrin tutkimustulokset riippuvat siitä, miten aineisto analysoidaan?
”Tutkimus on usein valintoja yhden analyysipolun puolesta, jossa yhtä aineistoa analysoi yleensä yksi tutkija tai tutkimusryhmä. Mutta on myös muita järkeviä tapoja analysoida aineistoa”, sanoo Aalto-yliopiston apulaisprofessori Christoph Huber.
Vaikka vertaisarviointi arvioi menetelmien hyväksyttävyyttä, se paljastaa harvoin, millaisia tuloksia olisi voinut syntyä vaihtoehtoisilla, mutta yhtä perustelluilla tilastollisilla ratkaisuilla.
”Joskus tutkijat eivät ole yksimielisiä siitä, miten tietyn tyyppisiä aineistoja pitäisi alun perinkään analysoida. Joskus taas kyseiset ilmiöt eivät tarjoa vain yhtä ainoaa tulkintaa”, Glerean sanoo.
Empiirinen tutkimus sisältää lukuisia päätöksiä: miten aineisto puhdistetaan, miten muuttujat määritellään, mitä tilastollisia malleja tai ohjelmistoja käytetään ja miten tuloksia tulkitaan. Nämä valinnat voivat perustavalla tavalla vaikuttaa lopullisiin johtopäätöksiin.
”Ehkä monet tutkimustulokset perustuvat valintoihin, jotka eivät itse asiassa kestä tarkempaa tarkastelua. On syytä katsoa tarkemmin ja pohtia uudelleen, miten tiedettä tehdään. Toivottavasti tämä johtaa siihen, että tulokset ovat tulevaisuudessa entistä uskottavampia”, Huber sanoo.
Erot johtopäätöksissä eivät johdu osaamisen puutteesta. Kokeneet tutkijat, joilla on vahva tilastollinen tausta, päätyivät yhtä lailla toisistaan poikkeaviin tuloksiin kuin muutkin. Samalla havaintoaineistoihin perustuvat tutkimukset osoittautuivat vähemmän vankoiksi kuin kokeelliset tutkimukset.
Christoph HuberTutkimus on usein valintoja yhden analyysipolun puolesta. Mutta on myös muita järkeviä tapoja analysoida aineistoa
”Itse analysoin uudelleen kokeellista tutkimusta, ja päädyin täsmälleen samoihin tuloksiin. Tämä voi johtua siitä, että kokeellinen data jättää vähemmän tilaa analyysiin perustuville avoimille johtopäätöksille”, Huber kertoo.
Ihmisiä tarvitaan jatkossakin enemmän kuin koneita
Yksi tapa lisätä tutkimustulosten luotettavuutta on monen tutkijan tekemä analyysi, jossa samaa aineistoa analysoidaan eri tiimeissä erilaisilla menetelmällisillä valinnoilla sen sijaan, että luotettaisiin yhteen tiimiin ja yhteen analyysivalintojen joukkoon.
”Tällaisen analyysin avulla voidaan nähdä, mitkä tulokset ovat menetelmistä riippumatta kestäviä. Tämä tarkoittaa myös, että tieteen sosiaalinen ulottuvuus korostuu entisestään: tutkijat keskustelevat erilaisista lähestymistavoista ja haastavat toisiaan”, Glerean sanoo.
Glerean huomauttaa myös, että suosituilla generatiivisen tekoälyn työkaluilla on yhä suurempi vaikutus kaikkeen, ja se on usein koulutettu valtavalla määrällä vanhaa materiaalia. Tämä tarkoittaa, että se perustuu myös tuloksiin, joiden on sittemmin osoitettu olevan ei-toistettavia, harhaanjohtavia tai yksinkertaisesti vääriä.
”Tiede kehittyy nopeammin ja korjaa itseään paremmin kuin suuret kielimallit, jotka on koulutettu lähes kaikella kirjoitetulla materiaalilla. Tarvitsemme edelleen ihmisiä enemmän kuin koneita, kun haluamme tietää, mikä on paras selitys jollekin ilmiölle,” Glerean sanoo.
Nature: Investigating the analytical robustness of the social and behavioural sciences
Yhteystiedot:
Rahoituksen laitos
Aalto-yliopiston rahoituksen laitos on Euroopan johtavia rahoituksen laitoksia.
Lue lisää uutisia
Walter Ahlströmin säätiö lahjoittaa 3 miljoonaa euroa Aalto-yliopistolle
Lahjoituksella Aalto perustaa kestävän teollisen tuotannon professuurin.
Avustajakoira tulkitsee sanattomasti hoivaamansa ihmisen tarpeita
Tuore tutkimus osoittaa, että avustajakoirat eivät vain auta ihmisiä käytännön tehtävissä, vaan osallistuvat aktiivisesti hoivaan.
Suomen ELLIS-instituutti tuo koneoppimisen uusia perusteita käytäntöön
Korkealle tähtäävä tutkimus, perustamallit terveydenhuoltoon ja tekoäly TKI-toimintaan