Se miten tutkijan työtä arvioidaan vaikuttaa kaikkeen. Siihen mitä tutkitaan, miten tutkitaan, mitä taitoja kannattaa hankkia, mikä työkokemus on tärkeintä ja erityisesti kuka saa tehdä tutkimusta. Arviointi myös muokkaa toimintakulttuuria luomalla oletuksia ja kokemuksia siitä kenen osaamista ja tekemistä arvostetaan ja kenen ei.
Tutkimusmaailmassa on mahdotonta välttyä kuulemasta tarinoita pieleen menneistä arvioinneista. Joko kriteerit ovat olleet kestämättömiä tai niitä on sovellettu luovalla epäoikeudenmukaisuudella. Vaikutukset ovat olleet usein yksilön näkökulmasta katastrofaalisia – tieteellinen ura on joko päättynyt tai joutunut tuskaisen epävarmuuden tilaan. Eikä yhteisökään selviä näistä epäoikeudenmukaisuuden kokemuksista naarmuuntumatta. Syntyy epävarmuutta, kaunaa ja luottamuspulaa. Mikään näistä ei kannusta hyvään tutkimukseen eikä tue hyvää tutkimusyhteisöä. Arvioinnille pitäisi siis tehdä jotain. Ja jotain on jo tehtykin.
Suositukset
Suomessa on laadittu Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus vuonna 2020. Suosituksilla on merkitystä, sillä niihin ovat sitoutuneet esimerkiksi sekä Suomen Akatemia että Unifi. Suositusten myötä Suomea pidetään arvioinnin mallimaana (https://sfdora.org/dora-case-studies/). Esimerkiksi Alankomaissa on vastaavat kansalliset suositukset. Euroopan komissiokin on nostanut arvioinnin yhdeksi teemaksi European Research Area kehityksessä.
Vastuullisuus kuulostaa tärkeältä, mutta on kuitenkin liukas termi. Suosituksen tärkein tehtävä onkin määritellä mitä vastuullisuus on ja millaisista valinnoista se koostuu. Vastauksia löytyy kysymällä mitä vaaditaan, jotta läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys sekä monimuotoisuus toteutuvat kun tehdään niitä lukuisia päätöksiä, joita arviointiprosessissa tehdään: ketkä ovat arvioijia, mitä kriteereitä ja aineistoja käytetään ja mitä työkokemusta huomioidaan.
Vastuullisuus ei myöskään ole arvioinnissa staattinen tila. Tutkijan työ muuttuu kiihkeällä tempolla esimerkiksi avoimen tieteen vaatimusten ja mahdollisuuksien muuttuessa, joten vastuullisen määritelmänkin tulee heijastaa näitä muutoksia.
Mistä tiedetään että jotain on muuttunut?
Polku suosituksista muuttuneeseen käytäntöön on usein mutkikas ja harmillisen pitkä. Tärkeä lähtökohta on yhteinen sitoutuminen vastuullisuuden periaatteisiin, mutta sen lisäksi tarvitaan valtava määrä tekoja, jotka muuttavat arkipäiväisiä arvioinnin käytäntöjä rahoitusta, työtehtäviä tai uralla etenemistä arvioitaessa. Mistä tiedämme, että jotain todella on muuttunut ja arviointi on vastuullisempaa kuin ennen?
Seuranta on yksi tärkeä osa ratkaisua. Muutosta ei voida havainnoida jos emme seuraa arvioinnin kehitystä (tai kehittymättömyyttä). Seuranta tekee näkyväksi sen mikä on usein tähän asti ollut piilossa ja ymmärrys anekdoottien varassa.
Arvioinnin seurannassa tarvitaan samoja vastuullisuuden periaatteita kuin itse arvioinnissa. Seurannan tulee olla läpinäkyvää ja samalla huolehtia tietosuojasta. Tarvitaan määrällisiä ja laadullisia indikaattoreita, jotta monimuotoisuus toteutuu.
Seurannan tavoitteena olisi tehdä näkyväksi, millä kriteereillä arviointia tehdään, ketkä arviointeja tekevät ja mitä aineistoja arvioinnissa käytetään. Ja myös se, että arviointi toteutuu suunnitelmien mukaisesti. Kriteerit ovat jo tyypillisesti kirjattuja, mutta muuten arvioinnin seurantaa on vielä vaikea toteuttaa. Seurannassa oleellista on tietovarannon kerryttäminen. Samanaikaisesti seurannassa tulisi tehdä laadullista työtä ja seurata arviointikokemuksia sekä arvioitsijoiden että arvioitavien näkökulmasta.
Seuranta ei ole koskaan yksinkertaista eikä halpaa. Arvioinnin kohdalla seuranta olisi kuitenkin vaivan arvoista sillä arviointi vaikuttaa kaikkeen. Ja niin vaikutusvaltaista työtä kannattaa sekä seurata että ohjata.
Henriikka Mustajoki
Kirjoittaja on kansallisen avoimen tieteen koordinaation kehittämispäällikkö Tieteellisen seurain valtuuskunnassa ja toimi vastuullisen tutkijanarvioinnin työryhmän puheenjohtajana. Hän on myös tutkimusetiikan opettaja, joka on aina ollut kiinnostunut arviointiin liittyvistä eettisistä kysymyksistä. Vapaa-aikanaan hän viihtyy luonnossa ja rentoutuu käsitöitä tehden.
Vastuullisen tutkijanarvioinnin kansallinen suositus
Kuuntele myös Universumin asialla -sarjan podcast Kuinka avointa ja reilua on rekrytointi?