Tutkimus ja taide

Euroopan unionin sopimus tutkimuksen arvioinnin uudistamisesta

Sopimuksen visio on, että tutkimuksen, tutkijoiden ja tutkimusorganisaatioiden arvioinnissa tunnistetaan erilaiset tuotokset, käytännöt ja aktiviteetit, jotka maksimoivat tutkimuksen laadun ja vaikuttavuuden.

Science Europe logo

Eurooppalainen sopimus tutkimuksen arvioinnin uudistamisesta julkaistiin 27.7.2022.

CoARA, Coalition for Advancing Research Assessment, on eurooppalainen yhteenliittymä tutkimuksen arvioinnin uudistamiseksi. Aalto-yliopisto on liittynyt CoARAn jäseneksi. Tutkimuksen arvioinnista Aalto-yliopistossa yleisesti voit lukea tältä sivulta.

Alla on lyhyt kooste sopimuksesta, mutta suosittelemme lukemaan sopimustekstin kokonaisuudessaan.

Sopimuksessa tutkimuksen arviointi kattaa seuraavat asiat:

• Tutkimusorganisaatioiden ja tutkimusyksikköjen arviointi, jota tekevät arviointia tekevät viranomaiset, tutkimusrahoittajat ja tutkimusorganisaatiot.

• Tutkimushankkeiden arviointi, jota tekevät arviointia tekevät viranomaiset, tutkimusrahoittajat ja tutkimusorganisaatiot.

• Yksittäisten tutkijoiden ja tutkimusryhmien arviointi, jota tekevät tutkimusrahoittajat, tutkimusorganisaatiot ja palkintoja myöntävät organisaatiot.

Sopimuksessa keskitytään tutkijoiden, tutkimushankkeiden, tutkimusysikköjen ja tutkimusorganisaatioiden tutkimuksen arvioinnin uudistamiseen liittyviin erityishaasteisiin.

Sopimuksen allekirjoittajat hyväksyvät seuraavat ehdot:

I. Toiminta perustuu seuraaviin periaatteisiin

Yleiset periaatteet

• Noudata eettisiä ja integriteettiä koskevia sääntöjä ja käytäntöjä. Varmista että etiikka ja integriteetti ovat etusijalla, eivätkä ristiriitaiset kannustimet vaaranna niitä.

• Turvaa tieteellisen tutkimuksen vapaus.

• Kunnioita tutkimusorganisaatioiden autonomiaa.

• Varmista tutkimuksen arvioinnissa ja tutkimuksen vaikuttavuuden määrittelyssä tarvittavan datan, infrastruktuurin ja kriteerien riippumattomuus ja avoimuus.

Arviointikriteerien ja prosessien periaatteet

• Keskity tutkimuksen arviointikrieetereissä laatuun. Tutkimuksen avoimuus ja tulokset, jotka ovat todennettavissa ja tarvittaessa toistettavissa, edistävät laatua vahvasti. Avoimuus merkitsee varhaista tiedon ja datan jakamista sekä avointa yhteistyötä, johon sisältyy tarvittaessa yhteiskunnallinen osallistuminen. Arvioinnin tulisi perustua laadulliseen harkintaan, jossa vertaisarviointi on keskeisessä asemassa, ja jota tuetaan tarvittaessa vastuullisesti käytetyillä määrällisillä indikaattoreilla.

• Tunnista toiminta, joka edistää tietämystä ja tutkimustulosten (potentiaalista) vaikuttavuutta.

• Tunnista tutkimustoiminnan ja tutkimuksen käytäntöjen monimuotoisuus ja tutkimustuotosten moninaisuus, ja palkitse varhaisesta jakamisesta ja avoimesta yhteistyöstä.

• Käytä arviointikriteerejä ja prosesseja, jotka ottavat huomioon tieteenalojen moninaisuuden, tutkimustyypit ja tutkijanuran vaiheet sekä tunnistavat tarvittaessa monitieteiset, poikkitieteelliset ja tieteidenväliset lähestymistavat.

• Tunnista ja arvosta tutkimusroolien ja uran monimuotoisuutta, mukaan lukien tutkimusyhteisön ulkopuoliset roolit.

• Varmista sukupuolten välinen tasa-arvo, yhtäläiset mahdollisuudet ja osallisuus.

 II. Sitoumusten täytäntöönpano

Sitoumuksia on kahta päätyyppiä: keskeiset sitoumukset (1–4) ja tukisitoumukset (5–10).

Keskeisiä sitoutumuksia ovat sitoumukset, joiden avulla voidaan paremmin tunnistaa tutkimuksen laadun maksimoivat erilaiset käytännöt ja toimet, ja joiden avulla voidaan siirtyä pois metriikan epäasianmukaisesta käytöstä.

Tukisitoumuksiin kuuluu sitoumuksia, joiden avulla voidaan siirtyä kohti uusia tutkimuksen arviointiperusteita, välineitä ja prosesseja, ja sitoumuksia, jotka liittyvät keskinäisen oppimisen helpottamiseen, edistymisestä viestimiseen ja sen varmistamiseen, että uudet lähestymistavat ovat perusteltuja.

Keskeiset sitoumukset

1. Tunnistetaan tutkimustyöhön liittyvien henkilöiden työ- ja uramahdollisuuksien moninaisuus tutkimuksen tarpeiden ja luonteen mukaisesti

Arviointikäytäntöjen muutosten olisi mahdollistettava laajan monimuotoisuuden tunnistaminen: arvokkaat panokset tieteelle ja yhteiskunnalle; käytännöt, jotka edistävät vankkaa, avointa, läpinäkyvää ja osallistavaa tutkimusta; monimuotoiset aktiviteetit (esim. opetus, johtajuus, ohjaustyö jne.) ja moninaiset roolit (esim. data steward, software engineer jne.)

2. Perusta tutkimuksen arviointi ensisijaisesti laadulliseen arviointiin, jossa vertaisarviointi on keskeisessä asemassa, ja jota tukee määrällisten indikaattorien vastuullinen käyttö

Tutkimuksen arvioinnin tulisi perustua ensisijaisesti laadulliseen arviointiin, jossa vertaisarviointi on keskeisessä asemassa, ja jota tuetaan tarvittaessa vastuullisesti käytetyillä määrällisillä indikaattoreilla.

3. Luovu tutkimuksen arviointiin soveltumattomien lehti- ja julkaisupohjaisien indikaattorien käytöstä, erityisesti Journal Impact Factorin (JIF) ja h-indeksin epätarkoituksenmukaisista käyttötavoista

Lehti- ja julkaisupohjaisen metriikan epätarkoituksenmukaisesta käytöstä tutkimuksen arvioinnissa tulisi luopua. Tämä tarkoittaa sitä, että luovutaan metriikan kuten Journal Impact Factorin (JIF), Article Influence Scoren (AIS) ja h-indeksin käytöstä laadun ja vaikuttavuuden mittareina.

4. Vältä yliopistovertailujen käyttöä tutkimuksen arvioinnissa

Koska tutkimusorganisaatioiden useimmiten mainitsemat kansainväliset sijoitukset eivät tällä hetkellä ole oikeudenmukaisia ja vastuullisia, näiden luokitusten käyttämiä kriteerejä ei tulisi soveltaa yksittäisten tutkijoiden, tutkimusryhmien tai tutkimusyksikköjen arvioinnissa. Tutkimusorganisaatioiden tulisi jälleen muotoilla arviointikäytännöt itsenäisesti sen sijaan, että noudatetaan ulkopuolisten kaupallisten yritysten asettamia kriteerejä ja menetelmiä.

Tukisitoumukset

 5. Ohjaa resursseja tutkimuksen arvioinnin uudistamiseen organisaatiomuutosten saavuttamiseksi tarpeen mukaan.

6. Tarkastele ja kehitä tutkimuksen arviointiperusteita, työkaluja ja prosesseja.

7. Lisää tietoisuutta tutkimuksen arvioinnin uudistuksesta ja tarjoa läpinäkyvää viestintää, ohjausta ja koulutusta arviointikriteereistä ja -prosesseista sekä niiden käytöstä.

8. Vaihda käytäntöjä ja kokemuksia keskinäisen oppimisen mahdollistamiseksi CoARAn sisällä ja sen ulkopuolella.

9. Tiedota periaatteiden noudattamisen ja sitoumusten täytäntöönpanon edistymisestä.

10. Arvioi käytäntöjä, kriteereitä ja työkaluja vankkaan näyttöön ja uusimpaan tutkimukseen perustuen, ja aseta data avoimesti saataville näytön keräämistä ja tutkimusta varten.

Tutustu muihin tutkimuksen ja tutkijan arvioinnin suosituksiin

Vastuullisen tutkijanarvioinnin kansallinen suositus

Tutkijanarviointi muokkaa ja ohjaa tutkimuksen suuntaa. Koko tiedeyhteisön tulisi ottaa vastuu tutkijanarvioinnin periaatteista ja käytännöistä. Vastuullisen tutkijanarvioinnin suositus tarjoaa perustan toimivalle, monimuotoiselle ja menestyksekkäälle tutkimusyhteisölle.

open science toimintakultuuri

Declaration of Research Assessment, DORA

Rahoittajien, akateemisten instituutioiden ja muiden toimijoiden tapoja arvioida tieteellisiä tutkimustuotoksia on tarpeen parantaa. Declaration of Research Assessment, DORA, oli ensimmäisiä tutkijoiden ja tieteellisten tutkimustuotosten arviointitapojen kehittämisaloitteita.

Dora

Leidenin manifesti

Leidenin manifesti tarjoaa parhaita käytäntöjä ja periaatteita metriikkaan perustuvaan tutkimuksen arviointiin.

leiden manifest

Tutustu Aalto-yliopiston tutkimuksen arviointiin

Tutkimuksen arviointi

Aalto-yliopisto arvioi säännöllisesti yliopistossa tehdyn tutkimuksen ja taiteellisen työn laatua sekä yhteiskunnallista vaikuttavuutta. Arviointi perustuu vertaisarviointiin ja noudattaa parhaita kansainvälisiä käytäntöjä.

Two women analysing the content of a test tube
  • Julkaistu:
  • Päivitetty: