Tiedejulkaisujen vertaisarviointi on tieteen ja tutkimuksen keskeinen osa. Ensimmäisenä sitä käytti The Royal Society of Edinburgh julkaisemassaan lääketieteellisten artikkelien kokoelmassa vuonna 1731. Vertaisarviointi ei kuitenkaan yleistynyt edes kaikkien tiedelehtien tai tiedekustantajien käyttöön ennen 1900-luvun jälkipuoliskoa.
Mitä merkitsee, että tieteellinen artikkeli on hyväksytty julkaistavaksi vertaisarvioidussa lehdessä? Lyhyesti sanottuna sitä, että tutkimusalan asiantuntija on perehtynyt tutkimusartikkeliin eikä ole löytänyt tutkimuksen tieteellisestä toteutuksesta, raportoinnista tai johtopäätöksistä ylitsepääsemättömiä ongelmia tai puutteita, ja että käsikirjoituksessa mahdollisesti havaitut vähäisemmät ongelmat on korjattu tyydyttävällä tavalla.
Artikkelin hylkääminen ei kuitenkaan välttämättä tarkoita, että artikkelissa on tutkimukseen liittyviä ongelmia. Hylkäyspäätös voidaan antaa sillä perusteella, ettei tutkimus ole tarpeeksi merkittävä tai tuloksilla ei ole riittävästi uutuusarvoa julkaisemista varten. Lehdet julkaisevat harvemmin artikkeleita, joissa raportoidaan negatiivisista löydöksistä (hypoteesi kumoutui) kuin artikkeleita, joissa hypoteesi vahvistettiin, vaikka edellä mainitut olisivat erinomaisen tutkimustyön tuloksia. Toisinaan hylkäämisen saattaa tehdä lehden toimitus ennen vertaisarviointia esimerkiksi silloin, kun artikkelin aihe ei sovi lehteen.
Julkaisua edeltävä vertaisarviointi on vain alustava arvio tutkimuksen pätevyydestä. Vertaisarvioijien vastuulla ei ole taata, että tutkimustulokset pitävät paikkansa, tai että tulosten tulkinta olisi täysin ongelmatonta tai ristiriidatonta. Varsinainen työ alkaa vasta julkaisemisen jälkeen ja jää koko tiedeyhteisön vastuulle. Samalla arviointiin käytettävät resurssit moninkertaistuvat.
On mahdollista, että hyvin tehdyn vertaisarvioinnin läpäisee teksti, jossa havaitaan myöhemmin isoja ongelmia tai jopa vilppiä. Näin on tapahtunut useita kertoa, ja ilmiön keskeisin indikaattori on julkaistujen tieteellisen artikkeleiden poisvetäminen. Takaisinveto ei aina kerro tutkijoiden huolimattomuudesta, varsinkaan tahallisesta tulosten vääristelystä. Tutkimus voi yksinkertaisesti olla niin monimutkaista ja tuloksiin saattavat vaikuttaa niin hienovaraiset seikat, että ne voivat jäädä parhaaltakin tutkijalta tai tutkimusryhmältä huomaamatta. Takaisinveto ei ole tutkijalle häpeäksi kuin sellaisissa tapauksissa, joissa kyse on tarkoituksellisesta tulosten vääristelystä tai esimerkiksi toisen tutkimuksen plagioinnista. Muissa tapauksissa on pikemminkin kunniakasta, jos tutkija itse hyväksyy pätevän kritiikin ja päätyy sen pohjalta itse vetämään artikkelin pois.
Tieteellisten artikkeleiden takaisinvetoa seuraa muun muassa palvelu Retraction Watch, jonka tietokantaan on sen vuonna 2010 tapahtuneen perustamisen jälkeen kertynyt kaikilta tutkimusaloilta yhteensä yli 24 000 poisvedettyä artikkelia. Määrä on suuri, mutta maailmassa julkaistaan joka vuosi miljoonia tieteellisiä artikkeleita, joten takaisinvedot ja huijaustapaukset ovat vain pisara meressä.
Tieteeseen kuuluu, että sen omia prosesseja arvioidaan kriittisesti. Näin on käynyt myös vertaisarvioinnille. Se on asetettu tutkimuksen ja kriittisen keskustelun kohteeksi. Tutkijat ovat muun muassa lähettäneet huijausartikkeleita tieteellisiin lehtiin tarkoituksenaan osoittaa laatuongelmia vertaisarvioinnissa tai kokonaisen tutkimusalan standardeissa.
Yleistä huomiota saanut koettelun tapa on ollut poskettomia ajatuksia sisältävien huijausartikkeleiden tai esitelmien tarjoaminen tieteellisiin lehtiin tai konferensseihin. Tällaisen huijaustoiminnan kohteeksi on joutunut suuri määrä tutkimusaloja fysiikasta tietojenkäsittelyyn, sukupuolentutkimuksesta lääketieteeseen. Joissakin tapauksissa kyse on systemaattisesta tutkimuksesta. Esimerkiksi eräässä projektissa jo julkaistavaksi hyväksyttyihin biolääketieteellisiin artikkeleihin lisättiin eri tasoisia ongelmia, ja artikkelit lähetettiin uudelleen arviointiprosessiin. Vertaisarvioijat huomasivat lisätyt ongelmat heikosti. Tämän systemaattisen ja satunnaistetun tutkimuksen tuloksista julkaistiin oma tutkimusartikkeli, jossa tarkasteltiin erilaisten muuttujien vaikutusta vertaisarvioinnin laatuun. Eniten julkisuutta saaneita huijauksia on kuitenkin tulkittu usein liian innokkaasti. Mikko Lagerspetz tuo omassa tutkimusartikkelissaan esiin seikkoja, jotka innokkaimmat tulkitsijat ovat jättäneet huomioimatta.
Vertaisarvioinnin tunnettuja ongelmia ovat muun muassa epäasialliset tai huolimattomat lausunnot. Esimerkiksi vaatimus viitata arvioijan tutkimustyöhön on tunnettu ongelma. Vertaisarvioinnin ongelmista julkaistaan jatkuvasti uusia tutkimuksia, joissa myös testataan erilaisia vertaisarvioinnin malleja (esimerkiksi avoimen vertaisarvioinnin erilaisia muotoja) ja pohditaan parannustoimenpiteitä. Haasteet ovat kovia: vertaisarviointiprosessin pitäisi sujua nopeasti laadun kärsimättä.
Yksi pyrkimys tukea vertaisarviointiprosessien luotettavuutta on Suomessa käytössä oleva Tieteellisten seurain valtuuskunnan hallinnoima vertaisarviointitunnus, jonka tarkoitus on yhdenmukaistaa vertaisarvioinnin käytäntöjä. Julkaisemista edeltävän vertaisarvioinnin ongelmia paikkaamaan on vuonna 2012 perustettu myös alusta, PubPeer, jolla vapaaehtoiset tutkijat suorittavat artikkeleiden julkaisemisen jälkeistä vertaisarviointia ja keskustelevat julkaisuista artikkeleista. Alustalle tehdyt jälkikäteiset vertaisarvioinnit ovat johtaneet useiden artikkeleiden poisvetoon tieteellisistä lehdistä.
Jatkuva vertaisarviointi yhteiskuntatieteissä ja humanistisilla aloilla
Harriet Zuckermann ja Richard Merton havaitsivat vuonna 1971 julkaistussa uraauurtavassa tutkimuksessaan, että vertaisarvioinnin läpäisseiden käsikirjoitusten hyväksymisprosentit olivat huomattavasti suurempia luonnontieteellisissä kuin humanistis-yhteiskuntatieteellisissä lehdissä. Viime vuosina kokeellisia tieteitä on kuitenkin kalvanut niin kutsuttu toistettavuuskriisi. Havaittiin, että monissa tutkimusartikkeleissa raportoitujen kokeiden toistaminen ei tuota samoja tuloksia kuin aikoinaan vertaisarvioinnin läpäisseissä artikkeleissa kerrotaan. Osa näistä epäonnisista artikkeleista on hyvin tunnettuja ja viitattuja.
Yhteiskuntatieteet ja humanistiset alat ovat tyypillisesti moniparadigmaattisia ja kontekstisidonnaisia. Ihmistieteissä vallitsee useampia eri tutkimusperinteitä ja näkemyksiä siitä, mitkä ovat tutkimuksellisesti tärkeitä kysymyksiä, millaiset menetelmät ovat hedelmällisiä ja mitä tulosten tulkinnassa tulisi huomioida. Näin ollen asiantuntijoiden keskuudessa ei vallitse yhtä suuri yhteisymmärrys kuin luonnontieteissä siitä, milloin julkaisu täyttää tieteelliset standardit.
Ensimmäiset havainnot toistamiseen liittyvistä ongelmista synnyttivät systemaattisia projekteja, joissa toistetaan vanhojen tutkimuksen kokeita. Tämä on yksi muoto tiedeyhteisön suorittamasta jatkuvasta vertaisarvioinnista, joka tapahtuu nimenomaan tutkimusjulkaisun julkaisemisen jälkeen. Käytäntö on melko uusi ja se koskee nimenomaan kokeellisia tieteitä.
Humanistiset tieteet ovat harvoin kokeellisia, joten niiden kohdalla kokeiden toistaminen ei ole edes mahdollista. Sen sijaan humanistinen traditio on aina perustunut jatkuvaan aikaisemman tutkimuksen uudelleenarviointiin, haastamiseen, kritiikkiin ja sen täydentämiseen. Miten tämä toimii käytännössä? Seuraava esimerkki havainnollistaa humanistisiin aloihin kuuluvaa jatkuvaa vertaisarviointiprosessia.
Intellektuaalihistorioitsija Quentin Skinner julkaisi vuonna 1969 historian tulkinnan kysymyksiä käsittelevän artikkelin Meaning and Understanding in the History of Ideas. Hänellä oli alun perin vaikeuksia saada artikkelia julkaistua, mutta julkaisemisen jälkeen se herätti välittömästi laajan keskustelun. Skinner on myöhemmin itse kuvannut artikkeliaan ”terroristi-iskuksi”, koska hän arvioi siinä voimakkain sanankääntein useita aikansa keskeisiä aate- ja oppihistorian tutkimuksia. Artikkelissaan Skinner rakensi myös argumentteja, kuinka historiaa tulisi tarkastella.
Artikkelissaan Skinner siis arvioi kriittisesti aikaisemmin julkaistua tutkimusta eli jatkoi niiden julkista vertaisarviointia. Samalla Skinnerin oma artikkeli asettui julkaisunsa jälkeen voimakkaan kritiikin ja toisaalta myös positiivisten arvioiden kohteeksi. Tähän päivään mennessä artikkelin väitteitä ja johtopäätöksiä on arvioitu tutkimuskirjallisuudessa tuhansia kertoja.
Skinnerin akateemisen uran nousun myötä julkaistiin vuonna 1988 kirja Meaning & Context: Quentin Skinner and His Critics. Teokseen koottiin useita hänen metodologisia artikkeleitaan, keskeisenä Meaning and Understanding. Kirjaan koottiin nimensä mukaisesti myös kriittisiä kommentaareja hänen tuotantoonsa, ja sitä tulkitsevan esipuheen kirjaan laati kirjan toimittaja James Tully. Quentin Skinner kirjoitti kirjaan uuden tekstin A Reply to My Critics, jossa hän vastasi kritiikkiin.
Kirja ja Skinnerin vastaus asettuivat puolestaan uuden tieteellisen debatin kohteeksi. Kun puheena oleva artikkeli julkaistiin toisen kerran uudestaan Skinnerin tutkimusartikkeleiden kolmiosaisen kokoelman ensimmäisessä niteessä Vision of Politics Vol 1. Regarding Method (2003), Skinner muokkasi kokoelmaa varten artikkelistaan uuden version, joka päätyi sekin kollegoiden arvioitavaksi tieteellisessä keskustelussa.
Keskustelu ei siis loppunut vuoteen 1988 eikä edes vuoteen 2003, vaan on jatkunut vilkkaana. Toinen tämän tekstin kirjoittajistakin, Sami Syrjämäki, osallistui artikkelin arviointiin väitöskirjassaan (2011), jossa hän kriittisesti arvioiden esitti tarkennuksia sen keskeisiin osiin. Esitarkastajat ja vastaväittäjä puolestaan paneutuivat väitöskirjan tulkintoihin ja ehdotuksiin pieteetillä samoin kuin väitöskirjaan myöhemmin viitanneet tutkijat. Myös Quentin Skinner itse lähetti palautetta väitöskirjasta sen kirjoittajalle.
Jatkuva vertaisarviointi on tutkimuksen keskeinen piirre. Uusikin tutkimus rakentuu aiemman tutkimuksen päälle muodostaen siihen kriittisen suhteen. Tiede on sosiaalinen ja kollektiivinen prosessi, ja myös sen objektiivisuus perustuu laajaan yhteistoimintaan.
Julkaisemista edeltävässä vertaisarvioinnissa havaitut ongelmat ovat saanet jotkut toteamaan, että vertaisarviointi on rikki. Se ei ole rikki. Se toteuttaa samaa tehtävää kuin aikaisemminkin, luultavasti vieläpä aikaisempaa paremmin, vaikka arvioitavien julkaisujen määrä on räjähtänyt. Sille on myös paikkansa sen vuoksi, että lopulta melko harvalla on mahdollisuus seurata julkaisemisen jälkeen tapahtuvaa vertaisarviointia.
Lopuksi vielä huomio eräästä ikävästä ilmiöstä. Tiedejulkaiseminen on voittoisaa liiketoimintaa suurille kansainvälisille kustantajille. Tämä seikka on houkutellut mukaan myös niin sanottuja saalistajalehtiä, joissa päinvastaisista väitteistä huolimatta ei suoriteta vertaisarviointia. Näiden lehtien tarkoitus on vain ottaa artikkeleiden kirjoittajilta julkaisumaksu ja jättää kaikki muu tiedejulkaisemiseen liittyvä työ tekemättä. Kirjoituksemme vertaisarvioinnista ei käsittele tällaista toimintaa.
Kiitämme Elina Pylvänäistä useista tekstiä parantaneista kommenteista.
Sami Syrjämäki ja Janne Pölönen
Sami Syrjämäki on julkaisupäällikkö ja Janne Pölönen Julkaisufoorumin pääsihteeri Tieteellisten seurain valtuuskunnassa.
Twitter: @samisyrjamaki, @PolonenJanne
Kommentit