Euroopan unionin sopimus tutkimuksen arvioinnin uudistamisesta
Eurooppalainen sopimus tutkimuksen arvioinnin uudistamisesta julkaistiin 27.7.2022.
CoARA, Coalition for Advancing Research Assessment, on eurooppalainen yhteenliittymä tutkimuksen arvioinnin uudistamiseksi. Aalto-yliopisto on liittynyt CoARAn jäseneksi. Tutkimuksen arvioinnista Aalto-yliopistossa yleisesti voit lukea tältä sivulta.
Alla on lyhyt kooste sopimuksesta, mutta suosittelemme lukemaan sopimuksen kokonaisuudessaan.
Sopimuksessa tutkimuksen arviointi kattaa seuraavat asiat:
• Tutkimusorganisaatioiden ja tutkimusyksikköjen arviointi, jota tekevät arviointia tekevät viranomaiset, tutkimusrahoittajat ja tutkimusorganisaatiot.
• Tutkimushankkeiden arviointi, jota tekevät arviointia tekevät viranomaiset, tutkimusrahoittajat ja tutkimusorganisaatiot.
• Yksittäisten tutkijoiden ja tutkimusryhmien arviointi, jota tekevät tutkimusrahoittajat, tutkimusorganisaatiot ja palkintoja myöntävät organisaatiot.
Sopimuksessa keskitytään tutkijoiden, tutkimushankkeiden, tutkimusysikköjen ja tutkimusorganisaatioiden tutkimuksen arvioinnin uudistamiseen liittyviin erityishaasteisiin.
Sopimuksen allekirjoittajat hyväksyvät seuraavat ehdot:
I. Toiminta perustuu seuraaviin periaatteisiin
Yleiset periaatteet
• Noudata eettisiä ja integriteettiä koskevia sääntöjä ja käytäntöjä. Varmista että etiikka ja integriteetti ovat etusijalla, eivätkä ristiriitaiset kannustimet vaaranna niitä.
• Turvaa tieteellisen tutkimuksen vapaus.
• Kunnioita tutkimusorganisaatioiden autonomiaa.
• Varmista tutkimuksen arvioinnissa ja tutkimuksen vaikuttavuuden määrittelyssä tarvittavan datan, infrastruktuurin ja kriteerien riippumattomuus ja avoimuus.
Arviointikriteerien ja prosessien periaatteet
• Keskity tutkimuksen arviointikrieetereissä laatuun. Tutkimuksen avoimuus ja tulokset, jotka ovat todennettavissa ja tarvittaessa toistettavissa, edistävät laatua vahvasti. Avoimuus merkitsee varhaista tiedon ja datan jakamista sekä avointa yhteistyötä, johon sisältyy tarvittaessa yhteiskunnallinen osallistuminen. Arvioinnin tulisi perustua laadulliseen harkintaan, jossa vertaisarviointi on keskeisessä asemassa, ja jota tuetaan tarvittaessa vastuullisesti käytetyillä määrällisillä indikaattoreilla.
• Tunnista toiminta, joka edistää tietämystä ja tutkimustulosten (potentiaalista) vaikuttavuutta.
• Tunnista tutkimustoiminnan ja -käytäntöjen monimuotoisuus ja tutkimustuotosten diversiteetti, ja palkitse varhaista jakamista ja avointa yhteistyötä.
• Käytä arviointikriteerejä ja prosesseja, jotka kunnioittavat erilaisia tieteenaloja ja tutkimustyyppejä sekä tutkimusuran eri vaiheita, ja jotka tunnistavat moni- ja poikkitieteelliset sekä intersektionaaliset lähestymistavat tilanteen mukaan.
• Tunnista ja arvosta tutkimusroolien ja uran monimuotoisuutta, mukaan lukien tutkimusyhteisön ulkopuoliset roolit.
• Varmista sukupuolten välinen tasa-arvo, yhtäläiset mahdollisuudet ja osallisuus.
II. Sitoumusten täytäntöönpano
Sitoumuksia on kahta päätyyppiä: keskeiset sitoumukset (1–4) ja tukisitoumukset (5–10).
Keskeisiä sitoutumuksia ovat sitoumukset, joiden avulla voidaan paremmin tunnistaa tutkimuksen laadun maksimoivat erilaiset käytännöt ja toimet, ja joiden avulla voidaan siirtyä pois metriikan epäasianmukaisesta käytöstä.
Tukisitoumuksiin kuuluu sitoumuksia, joiden avulla voidaan siirtyä kohti uusia tutkimuksen arviointiperusteita, välineitä ja prosesseja, ja sitoumuksia, jotka liittyvät keskinäisen oppimisen helpottamiseen, edistymisestä viestimiseen ja sen varmistamiseen, että uudet lähestymistavat ovat perusteltuja.
Keskeiset sitoumukset
1. Tunnistetaan tutkimustyötä tekevien panosten ja uran moninaisuus tutkimuksen tarpeiden ja luonteen mukaisesti
Arviointikäytäntöjen muutosten olisi mahdollistettava laajan monimuotoisuuden tunnistaminen: arvokkaat panokset tieteelle ja yhteiskunnalle; käytännöt, jotka edistävät vankkaa, avointa, läpinäkyvää ja osallistavaa tutkimusta; monimuotoiset aktiviteetit (esim. opetus, johtajuus, ohjaustyö jne.) ja moninaiset roolit (esim. data steward, software engineer jne.)
2. Perusta tutkimuksen arviointi ensisijaisesti laadulliseen arviointiin, jossa vertaisarviointi on keskeisessä asemassa, ja jota tukee määrällisten indikaattorien vastuullinen käyttö
Tutkimuksen arvioinnin tulisi perustua ensisijaisesti laadulliseen arviointiin, jossa vertaisarviointi on keskeisessä asemassa, ja jota tuetaan tarvittaessa vastuullisesti käytetyillä määrällisillä indikaattoreilla.
3. Luovu tutkimuksen arviointiin soveltumattomien lehti- ja julkaisupohjaisien indikaattorien käytöstä, erityisesti Journal Impact Factorin (JIF) ja h-indeksin epätarkoituksenmukaisista käyttötavoista
Lehti- ja julkaisupohjaisen metriikan epätarkoituksenmukaisesta käytöstä tutkimuksen arvioinnissa tulisi luopua. Tämä tarkoittaa sitä, että luovutaan metriikan kuten Journal Impact Factorin (JIF), Article Influence Scoren (AIS) ja h-indeksin käytöstä laadun ja vaikuttavuuden mittareina.
4. Vältä yliopistovertailujen käyttöä tutkimuksen arvioinnissa
Koska tutkimusorganisaatioiden useimmiten mainitsemat kansainväliset sijoitukset eivät tällä hetkellä ole oikeudenmukaisia ja vastuullisia, näiden luokitusten käyttämiä kriteerejä ei tulisi soveltaa yksittäisten tutkijoiden, tutkimusryhmien tai tutkimusyksikköjen arvioinnissa. Tutkimusorganisaatioiden tulisi jälleen muotoilla arviointikäytännöt itsenäisesti sen sijaan, että noudatetaan ulkopuolisten kaupallisten yritysten asettamia kriteerejä ja menetelmiä.
Tukisitoumukset
5. Ohjaa resursseja tutkimuksen arvioinnin uudistamiseen organisaatiomuutosten saavuttamiseksi tarpeen mukaan.
6. Tarkastele ja kehitä tutkimuksen arviointiperusteita, työkaluja ja prosesseja.
7. Lisää tietoisuutta tutkimuksen arvioinnin uudistuksesta ja tarjoa läpinäkyvää viestintää, ohjausta ja koulutusta arviointikriteereistä ja -prosesseista sekä niiden käytöstä.
8. Vaihda käytäntöjä ja kokemuksia keskinäisen oppimisen mahdollistamiseksi koalitiossa ja sen ulkopuolella.
9. Tiedota edistymisestä periaatteiden noudattamisessa ja sitoutumusten täytäntöönpanossa.
10. Arvioi vankkaan näyttöön ja alan huippututkimukseen perustuvia käytäntöjä, kriteerejä ja työkaluja, ja aseta data avoimesti saataville näytön keräämistä ja tutkimusta varten.
Tutustu muihin tutkimuksen ja tutkijan arvioinnin suosituksiin
Vastuullisen tutkijanarvioinnin kansallinen suositus
Tutkijanarviointi muokkaa ja ohjaa tutkimuksen suuntaa. Koko tiedeyhteisön tulisi ottaa vastuu tutkijanarvioinnin periaatteista ja käytännöistä. Vastuullisen tutkijanarvioinnin suositus tarjoaa perustan toimivalle, monimuotoiselle ja menestyksekkäälle tutkimusyhteisölle.

Declaration of Research Assessment, DORA
Rahoittajien, akateemisten instituutioiden ja muiden toimijoiden tapoja arvioida tieteellisiä tutkimustuotoksia on tarpeen parantaa. Declaration of Research Assessment, DORA, oli ensimmäisiä tutkijoiden ja tieteellisten tutkimustuotosten arviointitapojen kehittämisaloitteita.

Leidenin manifesti
Leidenin manifesti tarjoaa parhaita käytäntöjä ja periaatteita metriikkaan perustuvaan tutkimuksen arviointiin.

Tutustu Aalto-yliopiston tutkimuksen arviointiin
Tutkimuksen arviointi
Aalto-yliopisto arvioi jatkuvasti tekemänsä tutkimuksen ja taiteellisen työn laatua sekä yhteiskunnallista vaikuttavuutta. Arviointi perustuu vertaisarviointiin ja noudattaa parhaita kansainvälisiä käytäntöjä.
