Miksi sukupuolentutkimusta, rodullistettujen tutkimusta ja muita konservatiivien kritisoimia ihmistieteiden aloja on niin helppo huijata?
Tämä kysymys lienee herännyt monella viimeisimmästä akateemisesta huijauksesta kuulleella. Kolmen australialaisen ryhmä onnistui ujuttamaan ”vääryystutkimuksiksi” (grievance studies) kutsumiensa alojen kuten feministisen, lihavuustutkimuksen, ja seksuaalisuuden tutkimuksen tieteellisiin julkaisuihin yhteensä seitsemän sepittämäänsä, tarkoituksellista parodiaa kyseisten julkaisujen tavallisesti julkaisemasta tutkimuksesta. Jos huijaus ei olisi paljastunut, kolmikon tarkoitus olisi ollut julkaista yhteensä 20 tekaistua julkaisua.
Tempun onnistuminen kertoo jotain kyseisistä tutkimusaloista, postmodernista filosofiasta ja ylipäätään akateemisista julkaisukäytännöistä, mutta ei mitenkään välttämättä sitä, mitä tempun tekijät ja sillä nyt mässäilevät luulevat. En ole nähnyt asiaa käsiteltävän suomeksi, joten tässä lyhyesti muutamia huomioita yhden yhteiskunnallisia aiheita tutkivan ja tutkimusmenetelmiä opettavan näkökulmasta.
Tieteellinen julkaisutoiminta on tähän saakka perustunut luottamukseen siitä, että julkaisuja kirjoittavat tutkijat ovat mielipiteissään vilpittömiä. Vilpittömyyden oletus on erityisen tärkeää niissä tutkimusaiheissa, joissa tutkimusten ”oikeellisuuden” tarkastaminen jollain helposti mitattavilla objektiivisilla kriteereillä on vaikeaa tai mahdotonta. Suurin osa ihmistieteistä käsittelee tällaisia aiheita. Ei ole aivan triviaalia todeta, että julkaistavaksi tarjottu tutkimus on ”väärä” tai puutteellinen: etenkin jos kirjoittaja pyrkii tarkoituksella huijaamaan arvioijia, on aivan täysin mahdollista kirjoittaa nyt nähdyn kaltaisia parodioita ja saada ne julkaistua. Ongelma ei myöskään koske yksin ihmistieteitä tai laadullista (kvalitatiivista) tutkimusta: viimeaikojen akateemiset skandaalit ovat itse asiassa keskittyneet määrällisiä (kvantitatiivisia) menetelmiä – tilastoja – käyttäneiden tutkijoiden tekemiin huijauksiin ja vääristelyihin.
Asiaan ei myöskään voi olla vaikuttamatta viimeisen 15 vuoden aikana jatkuvasti kiristynyt paine julkaista, taikka se, että akateemisten julkaisujen toimittaminen tehdään täysin vapaaehtoisvoimin. Akateeminen julkaiseminen ylipäänsä onkin myrskyn silmässä, kun alati kiristyvät vaatimukset täyttää kirjanpitomielessä helppoja mutta tutkimuksen laatua erittäin puutteellisesti mittaavia mittareita kasvattavat jatkuvasti julkaisujen määrää, mutta niiden arviointi pitäisi edelleen tehdä ilmaiseksi. Useimmissa yliopistoissa vertaisarviointien tekemisestä ei saa mitään tai käytännössä mitään palkkiota tai omaa uraa edistävää hyötyä, ja vertaisarviointiin käytetty aika ja vaiva on poissa esimerkiksi oman tutkimuksen tekemisestä.
Koska tutkijat ovat yleisesti ottaen älykkäitä, ja koska vähintään 95 prosenttia tutkijoista pitää julkaisuilla kilpailua täysin älyttömänä järjestelynä, kilpailupaine on vaikuttanut myös toisella tavalla: tutkijoiden keskuudessa on havaintojeni mukaan jatkuvasti nousussa hiljainen sopimus, jossa julkaisut päästetään vertaisarvioinnista läpi vähän heikommillakin meriiteillä. Kaikki tietävät, että jonkun ura saattaa olla kiinni kyseisestä julkaisusta – ja että itse saattaa olla joskus samassa tilanteessa. Kaikki myös tietävät, ja ovat vuosikausia varoitelleet, että vallitseva paine julkaista ennen kaikkea johtaa tieteentekemisen laadun rapistumiseen. (Esimerkiksi Higgsin bosonista Nobelin saanut fyysikko Peter Higgs on todennut suoraan, ettei hän olisi voinut tehdä vuonna 1964 tekemäänsä läpimurtoaan nykyisissä, jatkuvasti tuloksia vaativissa yliopistoissa.)
Vertaisarviointi on siis hataraa ja nykymenolla todennäköisesti muuttuu entistä hatarammaksi. Tietty hataruus ei kuitenkaan ole välttämättä valtava ongelma. Toisin kuin esimerkiksi huijauksen toteuttaneet antavat aiheesta kirjoittamassaan artikkelissa ymmärtää, vertaisarviointi ei ole mikään ylimmäinen kultainen leimaisin joka takaa tutkimuksen olevan vakavasti otettavaa tiedettä. Vertaisarviointi on aina ollut vasta ensimmäinen seula, jonka tarkoitus on suorittaa jonkinlainen etukäteiskarsinta. Etenkin jos kirjoittajien tarkoitus on huijata, pelkkä vertaisarviointi, etenkään nykyoloissa, ei takaa tutkimuksen laatua merkittävän paljon sen enempää kuin teksti VAKUUTAN, ETTÄ ANTAMANI TIEDOT OVAT OIKEIN lomakkeen lopussa takaa, ettei lomaketta voisi täyttää väärillä mutta pintapuolisesti uskottavan kuuloisilla tiedoilla.
Tieteellisten tutkimusten merkittävyys paljastuu vasta ajan myötä, kun tiedeyhteisöllä on ollut tilaisuus tutustua tutkimukseen, harkita sen implikaatioita ja koestaa sen ajatuksia. Nyrkkisääntönä kaikki alle viisi vuotta vanha tutkimus on lähtökohtaisesti epäluotettavaa, ja vasta kun aiheesta on useampia samansuuntaisia tuloksia, voidaan ilmiötä pitää ylipäätään olemassaolevana. Yksi tärkeimmistä asioista joita pyrin oppilailleni opettamaan on se, että yksittäisistä tutkimuksista, olivat ne sitten miten hienosti vertaisarvioituja tai miten hienoissa lehdissä julkaistuja, ei yleensä voi päätellä juuri mitään varmaa – täysin riippumatta siitä, mistä tieteenalasta tai tutkimusmenetelmästä puhutaan. On myös olemassa oikea tapa kritisoida huonoa tutkimusta: se on vastineiden ja paremman tutkimuksen kirjoittaminen.
Nykyisten huijareiden kritisoimilla tieteenaloilla julkaistaan aivan varmasti myös paljon laadultaan heikkoa ja ideologisesti värittynyttä tutkimusta. Tämä ei kuitenkaan eroa mitenkään muista tutkimusaloista, varsinkaan ihmistieteiden aloihin kuuluvista. Esimerkiksi taloustieteen saralla kaksi tunnettua Harvardin yliopiston professoria julkaisi vuonna 2010 tutkimuksen, jonka eräs jatko-opiskelija havaitsi myöhemmin perustuneen Excel-taulukon käytössä tehtyyn virheeseen ja sisältäneen muitakin vakavia virheitä, joiden korjaaminen käänsi tutkimuksen tulokset liki päälaelleen. Kyseinen tutkimus, Growth in a Time of Debt, sattui vain puolustamaan budjettileikkauksia keinona selvitä tuolloin raivonneesta talouskriisistä, ja varoitti valtioiden velkaantumisen vaaroista. Oikeistopoliitikkojen Olli Rehniä myöten hehkuttama tutkimus oli merkittävänä perusteluna vyönkiristyksille, jotka vaikuttivat miljoonien ihmisten elämään negatiivisesti ja todennäköisesti pahensivat talouskriisiä. Joku saattaisi sanoa, että muutaman parodia-artikkelin julkaiseminen harvojen tutkijoiden lukemassa lehdessä ei ole aivan vastaavan mittaluokan ongelma, mutta mielipiteitä on toki monia.
Nykyisessä ja kolmikon aikaisemmissa huijauksissa onkin merkillepantavaa nimenomaan kohteen valinta. Taloustiedettä lukuunottamatta muissa ihmistieteissä on hyväksytty jo 1970-luvulla, että tutkijoiden oma arvomaailma ja näkökulma vaikuttavat tutkimuksen tekemiseen. Arvot vaikuttavat esimerkiksi siihen, mitä ylipäätään tutkitaan ja jätetään tutkimatta, sekä siihen, miten erilaisia asioita painotetaan niin tutkimuksessa kuin tulosten kirjoittamisessakin. Arvovapaata tutkimusta ei ole, vaikka kohtuullisen lähelle sitä voidaan joissain luonnontieteissä päästäkin. Ihmisten käyttäytymistä ja ihmisyhteisöjä koskevissa tutkimuksissa vastaavia objektiivisia totuuksia on paljon vähemmän, jos lainkaan. Tieteen tavoitteena tulee olla aina objektiivisuus, mutta on vain objektiivisesti realistista todeta, että täyteen objektiivisuuteen ei ole mahdollista päästä niin kauan kun tutkijat ja tutkimuksia lukevat ovat älykkäitä, itsestään tietoisia olentoja.
Neutraalin tarkkailijan näkökulmasta olisikin merkillistä, miksi tämänkaltaisia huijauksia tehdään lähinnä aloilla, jotka ovat jo tunnustaneet taustalla olevan perusongelman: totuuksia voi olla useampi kuin yksi, vaikka ei välttämättä ääretöntä määrää. Epäilen, että ennemmin tai myöhemmin näemme vastaavia huijauksia myös esimerkiksi arvoneutraaliutta ja objektiivisia totuuksia edelleen teeskentelevässä taloustieteessä (jota käyttäen voitaisiin todistaa, esimerkiksi, että köyhät vain haluavat juoda lyijyllä saastunutta vettä), mutta epäilen myös, että nyt ihmistieteille riekkuvat ovat silloin hyvin hiljaa. Kyseessä kun ei ole niinkään neutraali tieteellinen kysymys tutkimuksen laadusta, vaan ennen kaikkea identiteettikysymys: perinteisesti alistetussa asemassa olevien ryhmien tutkiminen, ja näiden ryhmien näkökulmasta tehty tutkimus, uhkaavat sekä tuloksillaan että yksin olemassaolollaan etenkin konservatiivien mutta myös monien itseään liberaaleina pitävien maailmankuvaa, ja siksi näiden alojen on heidän mielestään oltava laadutonta epätiedettä. Poliittisen kentän vasemmalta laidalta esitetään vastaavia syytöksiä valtavirtaista taloustiedettä kohtaan, eikä täysin perättömästi. Kuten todettua, vailla perää eivät ole myöskään syytteet siitä, että julkaisukäytännöt eivät oikein enää toimi; mutta väitteet siitä, että ongelmat rajoittuisivat juuri niihin tutkimusaloihin, joita konservatiivit vihaavat, ovat puhtaasti tarkoitushakuisia.
PS. Huijauksen tekijöistä kertoo jotain se, että he hehkuttavat seitsemän julkaisunsa ansiosta saamaansa neljää pyyntöä arvioida muiden julkaisuja jotenkin esimerkkinä siitä, että tutkimusyhteisö pitäisi heidän julkaisujaan esimerkillisinä. Kuka tahansa aidosti tutkimusta tehnyt voi kertoa, että vapaaehtoisten arvioijien löytäminen on valtava päänsärky – esimerkiksi itse ajauduin suurelta osin tästä syystä työuupumukseen ja jouduin lopettamaan tehtäväni erään julkaisun apulaistoimittajana, kun en vain saanut kaikkien muiden kiireiden seassa hankittua arvioijia. Itse olen julkaissut neljä vertaisarvioitua tutkimusta, joiden laatu on kohtuullinen mutta ei mikään esimerkillinen, ja olen saanut paljon enemmän kuin neljä pyyntöä arvioida artikkeleita.
PPS. Huijauksen tekijöiden artikkelissaan esittelemät esimerkit vertaisarvioijien ”kritiikittömästä vastaanotosta” ovat muutamaa mahdollisesti erikoista mutta myös mahdollisesti kontekstista irroitettua poikkeusta lukuunottamatta erittäin normaaleja akateemisia kohteliaisuuksia, joita arvioijia suorastaan kehotetaan käyttämään jopa murska-arvioissa. Tästä ei kannata päätellä paljon sen enempää kuin kohteliaisuuksista ylipäänsä.
Kirjoituksia 
Joopa joo, ja kannattaa muistaa myös J. Ioannidiksen ajatuksia herättävä arvio ”Why Most Published Research Findings Are False”, julkaistu PLOS lehdessä v. 2005 (https://doi.org/10.1371/journal.pmed.0020124). Tähän open access -juttuun on viitattu jo yli 6000 kertaa, niin että kyllä se on monia riipaissut.
TykkääTykkää
On hyvä huomata, että muutkin kuin konservatiivit ovat kriittisiä sukupuolentutkimusta, rodullistettujen tutkimusta ja monia muita ihmistieteisiin luettavia aloja kohtaan. Kritiikki ei niinkään kohdistu tutkimuskohteeseen kuin menetelmiin. Kun menetelmät ja tieteenalan paradigma mahdollistavat millaiset tahansa selitykset kyseessä ei enää ole tiede; kyseessä on joku muu aktiviteetti. Siihen viittaa jo se, että oikean tieteenalan menetelmien ja paradigmojen omaksuminen niin, että pystyy julkaisemaan alan lehdissä ei ole mahdollista kovin lyhyessä ajassa. Australialaiset kirjoittivat alle vuodessa 20 juttua. Yhdessä käytettiin teinien runogeneraattoria (http://www.elsewhere.org/journal/hbzpoetry/). Mielestäni kyseessä on osallistuva tieteensosiologinen pilottitutkimus, joka viittaa siihen, että tämäntyyppisiä ihmistieteitä pitää tutkia tarkemmin, koska niissä näyttää selvästi olevan jotain hämärää.
TykkääTykkää
Olet sitten varmasti tietoinen esimerkiksi siitä, miten esimerkiksi tietojenkäsittelytieteessä on jo vuosia sitten julkaistu puppulausegeneraattoreiden tuottamaa tekstiä ja fysiikan konferenssissa iPhonen autocompleten tuottama paperi.
Kyllä, julkaisutoiminta pitäisi perata perusteellisesti, mutta tämän perkauksen rajoittaminen ”tämäntyyppisiin ihmistieteisiin” olisi vaarallinen erehdys. Valitettavasti tämä näyttää olevan nyt se johtopäätös, jonka ”tämäntyyppisiin” tieteisiin lähtökohtaisen vihamielisesti suhtautuvat ovat – ennustettavasti – vetäneet.
Ironista tässä on se, että tämä johtopäätöshän perustuu tässä tapauksessa aivan oppikirjaesimerkkiin bullshit-tutkimuksesta: ongelmallinen tutkimusasetelma, tutkijoilla vahvat ennakkoasenteet, puutteelliset kontrollit tai vaihtoehtoisten selitysten pohtiminen, eettisesti kyseenalainen toteutustapa…
TykkääTykkää
Olemmekohan me lukeneet saman artikkelin. Minun käsittääkseni tutkijat eivät pyrkineet tekemään tutkimusta, vaan katsomaan menevätkö älyttömät kirjoitelmat läpi, jos niitä höystetään ideologisesti sopivilla ilmaisuilla. Kenties käsitin jutun väärin, mutta oma kokemukseni tutkimuksen teosta on, että se on selvästi artikkelissa kuvattua hitaampaa.
TykkääTykkää
Rehellisen tutkimuksen tekeminen onkin merkittävästi hitaampaa.
Kyllä, vertaisarvioinnista voi uittaa läpi kaikenlaista. Siksi vertaisarviointi ei olekaan se tieteen laadun ylimmäinen kriteeri, vaan vasta ensimmäinen karsintakierros. Etenkään ihan huippulehtien ulkopuolella vertaisarvioinnin lähtökohtana on myös positiivisuus ja kannustavuus, eli parhaassa tapauksessa vertaisarvioijat auttavat kirjoittajia parantamaan tutkimusta julkaisukelpoiseksi. Kun tähän yhdistetään se, että työ tehdään palkatta ja usein kiireessä, ei ole mikään ihme, että läpi voi päästä myös silkkaa puutaheinää.
Kuten myös tietojenkäsittelytieteessä ja fysiikassa.
TykkääTykkää
J. M. Korhonen lokakuu 6, 2018 11:21 am: Kerro jos olet eri mieltä, mutta käsittääkseni keskustelun aiheena olevassa kokeessa ei ollut tarkoitus näyttää, että vertaisarvioinnista voi mennä läpi huonoja tai virheellisiä juttuja. Tarkoitus oli näyttää, että tietyillä aloilla järjestelmä vuotaa aivan hervottomasti. Ja että tämä vuoto johtuu siitä, että aloilla ei noudate tieteellisiä käytänteitä, koska alat itsessään eivät kenties ole tiedettä, vaan jotain muuta.
Luuletko, että on jotain muita ’tieteen’aloja, joiden lehtiin alan ulkopuolelta tulevat voivat parissa kuukaudessa rustata juttuja, jotka hyväksytään?
TykkääTykkää
Itsekin olen julkaissut yhdessä astronautiikan alan johtavassa lehdessä Acta Astronauticassa artikkelin, joka vaati muutaman kuukauden perehtymisen alaan. En pidä tuota mitenkään mahdottomana.
Tämän perusteella emme oikeasti tiedä, vuotaako järjestelmä ”tietyillä aloilla” ”aivan hervottomasti”. Eikä tästä voi päätellä alojen metodologiasta mitään.
Jos sinulla on esittää ihmistieteisiin parempia metodologioita kuin tähän mennessä käytetyt, niin anna palaa. Metodologiavalinnat eivät, kuten jouduin väitöskirjaa tehdessäni kantapään kautta huomaamaan, ole mielivaltaisia vaan juontuvat etupäässä tarkasteltavien kysymyksien luonteesta.
TykkääTykkää
J. M. Korhonen
lokakuu 7, 2018 10:21 am: Kenties metodologia/paradigma, jossa lähtokohta on, että kaikki ovat ideologisia on melko lapsellinen eikä johda mielenkiintoisiin tuloksiin. Tällaisesta luopuisin helposti. Mitään empiiristä näyttöähän väitteelle ’Kaikilla on jokin ideologia’ ei ole. Samalla tavalla ei näytä kovin hedelmälliseltä lähtökohdalta, että ’Jokainen ihmisten välinen suhde on valtasuhde, jossa joku on valta-asemassa’. Tällainen johtaa lähinnä lukiolaistasoiseen päivittelyyn, mutta ei nähdäkseni tietoon, jota voidaan käyttää reaalimaailmassa hyväksi; paitsi tietysti katkeruustyyppisesti oman edun ajamiseen. Valtasuhteethan eivät ikinä ole aboluuttisia vaan jonkinlaisia tasapainoilmiöitä; kuten neoklassisessa taloustieteessä. Kuten huomaat en osaa sanoa, minkälainen menetelmä olisi hyvä, kun kerta lähestyn ongelmaa niin, että pyrin poistamaan huonot menetelmät.
Mietiskelin myös ajatustani siitä, että katkeruustieteet ovat epäilyttäviä, koska joku porukka voi hyvin lyhyen perehtymisen pohjalta ruveta julkaisemaan alalla. Päädyin siihen, että tämä ei ole totta. Katkeruustieteet olisivat ihan yhtä epäilyttäviä, vaikka tämä porukka olisi joutunut laittamaan aivan valtavasti voimavaroja näihin julkaisuihin. Tällöin vain päättelisimme, että tämä porukka ei ollut kovin skarppia.
TykkääTykkää
Et selvästikään ole tutustunut kritisoimiisi aloihin tai edes melko peruskäsitteisiin ennakkoluulojasi pidemmälle, joten en usko että julkaisen enää kommenttejasi. Yritän pitää keskustelun tason korkeana, eikä aivan perusasioista jankkaaminen ilmiselvästi vihamielisesti suhtautuvan kanssa edistä tätä tavoitetta.
TykkääTykkää
Kusetuksia on livahtanut vertaisarviointiprosessin läpi myös muilla tieteenaloilla. 2000-luvun alussa oli parikin skandaalia, ensin Schön:
https://www.hs.fi/tiede/art-2000004661058.html
ja sitten Bogdanovit:
https://www.hs.fi/tiede/art-2000004108809.html
Ja myöhemmin eteläkorealainen kloonitohtori:
https://www.hs.fi/tiede/art-2000004661058.html
Ja psykologi Stapel:
https://suomenkuvalehti.fi/tarinoitatieteesta/suuri-tiedemies-olikin-huijari/
https://www.hs.fi/kulttuuri/art-2000002884909.html?share=4156f191a17f4800556709e453051b5b
Näistä moni oli saanut tekeleitään ihan Natureen ja Scienceen asti – siinä missä nämä seitsemän julkaisuun asti päässyttä julkaisua torpattiin Jufo 3 -tason lehdissä (yksi oli tosin livahtanut accepted with minor changes -vaiheeseen, mutta huijaus tuli ilmi ennen kuin se ehdittiin julkaista).
Tuo että roskaa on päässyt läpi edes Jufo kakkosessa, on kyllä huolestuttavaa. Nyt olennaista onkin, miten nämä nyt huijatut lehdet/alat reagoivat kusetukseen. Fysiikan alalla tähän puututtiin, ja toivottavasti puututaan näilläkin aloilla.
TykkääTykkää
Näytät olettavan tekstissä, että asetelma tässä keskustelussa olisi ihmistiede vs. muut. Eikös taloustiedekin ole kuitenkin ihmistiede? Kirjoittajat eivät varmaan myöskään kritisoineet esimerkiksi väestötiedettä tai muuta kvantitatiivista tutkimusta – eivätkä varsinaisesti kvalitatiivistakaan, vaan nimenomaan näitä ”vääryystieteitä”. Näissä on siis väitetysti (kaiketi edustajiensa omastakin mielestä) jo lähtökohtaisesti erilainen suhde objektiiviseen tietoon kuin muissa ihmistieteen muodoissa.
Miten pitkälle näiden suuntausten filosofiset, metologiset ja poliittiset lähtökohdat sitten liittyvät tähän huijausartikkelien julkaisuun, on tietysti vaikeampi kysymys. Ehkäpä tulevaisuudessa tosiaan näemme, onnistuuko huijaus muillakin aloilla. Voi tietysti hyvinkin olla, että tämä ei ole paras tapa kritisoida mitään tutkimusalaa, joskin huijausartikkeleilla saa mediahuomiota.
Itse ihmistieteitä pitkälle opiskelleena ja useita alan metodologisia ja teoreettisia kirjoja suorittaneena nään kyllä syytä olla huolissani, että jos tutkimussuuntauksen metodologia on jo lähtökohtaisesti subjektiivisuutta painottava ja objektiivista tietoa hylkivä ja vielä päälle tutkimusala ideologisesti laatikoitunut, niin tieteellisyys voi siinä kärsiä (laatikoitumisella viittaan tähän, että esimerkiksi mainstream-taloustieteessähän sentään on mukana selkeästi oikeistolaisia ja vasemmistolaisia, joiden poliittiset arvot ja agendat eroavat selkeästi, mutta näillä aloilla spektrumi taitaa olla huomattavasti kapeampi ja selkeämmin lähtökohtana joku tietty poliittinen agenda ja ajattelutapa).
Areomagazine.comin jutussa aiheesta saa vaikutelman, että jonkun tutkimussuuntauksen piirissä esimerkiksi hyökättäisiin lääketiedettä vastaan. Jos tämä on totta, niin ei tämä nyt kauhean hyvältä kuulosta. Eihän ihmistieteitä yleensä käytetä tällaisiin tarkoituksiin.
TykkääTykkää
Kirjoitus on tosiaan vähän epäselvä näiltä osin. Taloustiede on yksi ihmistieteistä, ja siihen pätevät itse asiassa samat kritiikit paljon pidemmälle kuin monesti ajatellaan – ala itse on vain tehokas esittämään itsensä arvoneutraalina ja objektiivisena.
Tämä ei ole todellakaan hyvä tapa kritisoida mitään tutkimusalaa eikä se oikein todista mitään. Etenkin ”pienempien” lehtien tehtävä julkaisualan ”ekosysteemissä” on nimenomaan julkaista erilaisia villejä ideoita hieman vähemmällä kritiikillä, eikä nykyinen, kriittinen mutta periaatteessa kannustava vertaisarviointijärjestelmä ole ollenkaan tehokas estämään tietoisia huijauksia. Jos kolme tutkijaa ei kykenisi 10 kuukautta käytettyään tekemään yhtään huijausta, SE olisi uutinen.
En itse tunne näitä kyseisiä aloja kovin hyvin, mutta olen aika monta vääntöä käynyt objektiivisuudesta mm. kriittisestä teoriasta vaikutteita saaneiden kanssa (johon joukkoon kuulun nykyään itsekin). Kysymys EI ole siitä, että objektiivisuus tavoitteena hylättäisiin: kysymys on siitä, että naiivi luulo tieteenteon objektiivisuudesta etenkin asioissa, joissa objektiivisesti mitattavaa todellisuutta ei ole välttämättä käytännöllisessä merkityksessä olemassa (ts. ilmiöön ei päästä käsiksi melko yksikäsitteisellä mittauksella), on vaarallisempi harhaluulo. Kriittisessä tutkimusperinteessä kyseenalaistetaan vahvasti se, voiko kukaan tutkija tai tutkimuksia lukeva olla aidosti objektiivinen: tämä on nähdäkseni objektiivisesti sanoen (heh heh) erittäin vahvasti perusteltavissa oleva kanta. Tästäkin tietysti voidaan mennä äärimmäisyyksiin ja esimerkiksi kiistää _kaiken_ havainnoitsijoista riippumattoman objektiivisen todellisuuden olemassaolo, mutta tämäkään ei itse asiassa ole ihan niin helppoa osoittaa vääräksi kuin voisi äkkipäätä luulla.
Areon juttu kannattaa lukea vahvalla suotimella. Olen tässä etenkin jälkikirjoituksissa tuonut esille muutamia ongelmia kirjoituksen ottamassa näkökannassa, ja nämä väitteet esimerkiksi lääketiedettä kohtaan hyökkäämisestä on syytä ottaa myöskin varauksellisesti. On hieman eri asia hyökätä lääketiedettä vastaan (mitä kyllä tätäkin on varmasti joku tehnyt – tutkijoitakin on moneen junaan) tai kritisoida sitä esimerkiksi hegemonisena tiedon tuottamisen tapana, joka saattaa palvella toisia ihmisiä vähän paremmin kuin toisia. Ja tätä kritiikkiä voi esittää vailla mitään epäilystä siitä, ”toimiiko” lääketiede esimerkiksi tautien parantamisessa keskimäärin paremmin kuin vaikka homeopatia.
TykkääTykkää
Tilanne on tosiaan aika erilainen luonnontieteiden ja tekniikan maailmassa. Esim. teknisessä, kaupallisesti motivoituneessa tutkimuksessa usein tavoite voi olla kehittää jokin keino markkinoida uutta tuotetta. Näen silti itse tekniikan tutkijana, että monet tällaisetkin tutkimukset hyödyttävät yhteisöä, sillä ne lisäävät informaatiota, eivätkä kaikki poleemiset ja yksittäistapauksiin pätevät koejärjestelyt ole aivan kelvottomia, vaan niitä voi käyttää apuna esim. kunnollisempia koejärjestelyjä kehitettävessä. Lisäksi monet sovellukset ovat todella kalliita implementoida ja riskinä on yliopiston heikko tuottavuus byrokratian ja heikon johtamiskulttuurin takia, kun taas näitä osataan firmoissa paljon paremmin. Hyvä esimerkki on koko tietotekniikan ala. Sovellettavuudeltaan heikot tutkimukset on kohtalaisen mahdollista asettaa kontekstiinsa jälkeenpäin, jos asioita pitää tarkastella teoreettisemmin.
Puhtaassa matematiikassa puolestaan tutkimuksissa ainakin ulkopuolisen silmin yhtenä haasteena on, että perustutkimus on usein niin abstraktia, että ei voi olla ihan varma tulosten ja teorioiden hyödyllisyydestä ja jatkosoveltamisen aikajänteestä. Jos tieteestä siis haluttaisiin ulosmitata jotain objektiivista hyvyyttä. Pelkkä tiedon kerryttäminen ei sinällään tuota lisäarvoa ihmisille, jos vain pari älykkäintä yksilöä koko maailmassa saavat siitä irti lähinnä älyllistä masturbaatioarvoa.
Minusta ihmistieteissä suhtautuminen tieteeseen pitäisi olla täysin erilainen. Siinä missä kvantitatiivisia menetelmiä ja matemaattiseen todistukseen pohjautuvia tuloksia voi validoida jopa automatisoidusti jossain määrin jälkeenpäin, ihmistieteissä subjektiivisuus on paljon vahvemmin läsnä ja tuloksia pitäisi perata läpi paljon tiheämmällä seulalla ja moniarvoisemmilla arviointiryhmillä ja hitaammalla tahdilla. Myös tutkijat saattavat olla itse mukana paljon vahvemmin yhteiskunnallisessa vaikuttamisessa – onhan kyse heidän ydinosaamisensa soveltamisesta. Miten estää se, etteivät tutkijat pakkosyötä omaa ideologista propagandaansa tieteen valeasussa?
TykkääTykkää
Kannatan vahvasti hitaampaa tahtia ja vähempää mutta laadukkaampaa julkaisua. Valitettavasti tästä asiasta päätetään korkeammalla tasolla kuin yliopistoissa.
Suosittelen myös muistamaan, että meillä kaikilla on jokin ideologia, ja ”pakkosyöttöä” on monenlaista. Esimerkiksi yritysten tekemässä tutkimuksessa on lähtökohtaisesti tietynlainen ideologinen positio. Ihan hyvä vain, että edes jotain täysin vastakkaisiakin näkemyksiä on olemassa edes jossain.
TykkääTykkää
> Yksi tarkeimmista asioista joita pyrin oppilailleni opettamaan on se, etta yksittaisista tutkimuksista, olivat ne sitten miten hienosti vertaisarvioituja tai miten hienoissa lehdissa julkaistuja, ei yleensa voi paatella juuri mitaan varmaa
Siksi ammattimainen vaarentaja tyontaakin kerralla parikymmenta tutkimusvaarennysta eri julkaisuihin. Parinkymmenen vuoden ajan. Namakin huijaritutkijat todistivat, etta kolmen hengen vuoden harrastusprojekti oli tuottanut ainakin seitseman hyvaksyttya kontribuutiota ”tieteellisena tietona” pidettyyn kaanoniin. Mietipa miten kay, jos sulla onkin taustalla joku ihan oikea kunnollisen budjetin omaava erityisintressi jolla on varaa pitaa vaikkapa yhden miljoonan vuosibudjetilla toimivaa pitkajanteista tutkimusvaarennoslaboratoriota? Tai nain on luultavimmin jo kaynyt enemman kuin kymmenen kertaa. Miten paljon tieteeseen ja tieteen tekijoihin on oikeasti luottaminen ylipaansa? Tekeeko tiedeyhteiso enemman hyvaa vaiko pahaa?
Ei se ole juurikaan sen vaikeampaa tuottaa seitsemaa haluttua tulosta tuottavaa tiedevaarennosta, kuin yhta.
Olen nyt jotain 20 vuotta kuunnellut sita, miten vertaisarviointi ei toimi, tieteentekoon ei riita aikaa ja maararahoja aina leikataan. Vaikka kuten kaikessa muussakin, isosa kuvassa myos globaali tutkimusrahoitus on moninkertaistunut viime vuosina niin absoluuttisesti kuin suhteessa BKT:hen. Mun kasitys on, etta tieteen ongelmat ovat vain kasvaneet ja akatemia on itse kyvyton tekemaan krooniselle tilalleen mitaan. Ehka ongelmana nimenomaan on volyymi?
Modest proposal: enta jos parin prosentin tutkimusleikkausten sijaan tehtaisiinkin esim. parinkymmenen prosentin leikkaukset? Tai 50%? Olisi sitten paljon vahemman vertaisarvioitavaa, vahemman kilpailijoita ja vahemman julkaisusarjoja. Alustavasti jatettaisiin jaljelle ainoastaan selvimmin maallikonkin ymmartamalla tavalla hyodyllinen osa tutkimuksesta. Hiljalleen voitaisiin palata myos perustutkimukseen ja kaikenlaiseen vahemman helposti sisaistettavaan, mutta alustavasti leikattaisiin iso syopakasvain pois vaikka paljon hyvaa kudostakin lahtee. Tama ongelma vaivaa koko tiedeyhteisoa, eika vikaa ole yksinomaa aktivistien nimeamissa ”kaunatutkimuksissa.”
Ihmettelen myos sita, miten vihamielisesti iso osa akatemiaa suhtautuu tahan stunttiin. Muualla maailmassa tehdaan paloharjoituksia, valmiusharjoituksia, lujuusmittauksia yms. joilla konkreettisesti testataan sita, kuinka hyvin omat ratkaisut ja suojat kestavat tositilanteessa ulkoisia uhkia ja sisaista rasitusta vastaan. Mua harmittaa lahinna se, etta noi kaverit ilmeisesti lopettivat projektinsa, kun tarve nimenomaan olisi testata akateemista julkaisukaytantoa laajemmin ja jatkuvasti. Jos ma hakisin tutkimusrahoitusta, ma nimenomaan perustaisin labran tutkimaan laajemmin eri julkaisujen tasoa ja huijausten hylkyprosenttien nojalla voisin jopa laatia uuden JUFOa paremman arvion ko. pahvien laadusta ja luotettavuudesta.
Jokaisen julkaisun pitaisi kasitella jatkuvasti erilaisia huijausyrityksia. Ja meilla pitaisi olla labroja, jotka ovat keskittyneet pelkastaan huijaustutkimusten tuottamiseen ja julkaisijoiden arviointiin.
> Tieteellinen julkaisutoiminta on tahan saakka perustunut luottamukseen siita, etta julkaisuja kirjoittavat tutkijat ovat mielipiteissaan vilpittomia.
Tama on typera oletus eika ole akatemialle pahasta nykaista mattoa taman alta.
TykkääTykkää
Kyllä, näin on todennäköisesti jo käynyt. Merkittävä osa valtavirtaisesta taloustieteestä esimerkiksi on rahoitettu miljonäärien kautta, eikä liene pelkästään sattumaa, että se tuottaa rikkaita suosivia suosituksia.
https://www.propublica.org/article/these-professors-make-more-than-thousand-bucks-hour-peddling-mega-mergers
Julkisen tutkimusrahoituksen leikkaaminen olisi kuitenkin huono idea, koska se johtaisi vain siihen, että tämänkaltaisten ideologiaan vahvasti sitoutuneiden tahojen osuus tutkimuksesta korostuisi entisestään. Tämä on se keskeinen syy, miksi asiaa miettineet ovat pitäneet julkista tutkimusta niin tärkeänä, ja siihen kohdistuneita leikkauksia niin typerinä.
TykkääLiked by 1 henkilö
Ja tähän vielä yksi huomio: monella tuntuu olevan ajatus, että akatemia voisi itse korjata nämä ongelmat. Tämä vain ei ole totta, koska muutamaa huippuyliopistoa lukuunottamatta akatemia ei päätä budjeteista eikä tulostavoitteista.
Ongelma on erittäin hyvin tiedossa, mutta sen ratkaiseminen vaatisi joko lisää rahaa tai tulostavoitteiden muuttamista. Suomessa ensimmäisestä on taas leikattu ja jälkimmäisiä kiristetty.
TykkääTykkää
Ja vielä kolmas asia, kun näin aamutuimaan ei näköjään ajatukset pysy kasassa.
Vertaisarvioinnin vuotaminen on ongelma, mutta se ei ole mitenkään välttämättä fataali ongelma koska – kuten tuolla yritän tuoda esiin – vertaisarviointi EI ole mikään ylimmäinen hyväksynnän leimaisin tieteelliselle tiedolle. Tieteellinen tieto asuu ennen muuta tutkijoissa, jotka voivat itse kriittisesti arvioida tutkimuksia (ei ole mitään pakkoa hyväksyä epäilyttävinä pitämiään tuloksia) ja ennen kaikkea muodostaa niistä kokonaiskuvan. Tämä kuva ei useimmiten näy ulkopuolisille kuin satunnaisesti, ja tästä syystä asioista kannattaisi kysyä asiantuntijoilta sen sijaan että lähtee itse, alaa tuntematta, tekemään hyvin vahvoja päätelmiä esim. vertaisarvioitujen tutkimusten pohjalta.
Vertaisarviointi on ongelmallinen mittari ja nimenomaan siksi se ei ole ainoa eikä aina edes kovin relevantti mittari. Olemme sopeutuneet tilanteeseen, missä elämme, parhaamme mukaan.
TykkääTykkää
Tekstisi käsittelee kattavasti vertaisarvioinnin puutteita niin sisäisten rakenteidensa puolesta kuin esimerkkien kautta siitä, kun muilla tieteenaloilla vertaisarviointiprosessi on pettänyt. Tämä on kuitenkin ihan tieteenfilosofian 101-osastoa, eikä kerro vielä mitään informatiivista siitä, mikä _spesifi_ prosessi milloinkin menee pieleen, kun vertaisarviointi päästää huijauksen läpi.
Näiden kolmen tutkijan lähtökohta oli siis selvittää, saavatko ”epäkohtatutkimuksen” aloilla läpi julkaisuja, jotka ovat huuhaata, mutta samalla linjassa tutkijoiden hypoteesien kanssa alan episteemisistä ja normatiivisista vinoumista – ja onnistuivat merkittävästi. Enemmän tutkimusta tarvitaan sen vahvistamiseksi, että järjettömät julkaisut pääsivät läpi juuri (tai edes merkittävästi) siksi, että ne olivat normatiivisesti miellyttäviä. Tästä huolimatta ainakin yksi askel teorian robustisuuden rakentamisessa onnistui, eli ”epäilemme, että julkaisut painottavat enemmän ideologista soveltuvuutta kuin metodologista kelpoisuutta” -> ”yritämme saada tämän idean pohjalta kirjoitettuja artikkeleita julkaistuiksi” -> ”onnistuimme”. Emme tiedä ensimmäistä jäsentä tuossa ketjussa tietenkään todeksi tämän myötä, mutta syy epäillä, että näin saattaa olla, vahvistui juuri.
Voi olla monia syitä, miksi huijausartikkeli pääsee läpi jollain tietyllä alalla ja tietyssä julkaisussa. Nämä syyt voivat olla universaaleja (kuten arvioijien ajanpuute tai mainitsemasi solidaarisuus), tai lokaaleja, kuten vaikkapa se, että arvioijat sattuvat olemaan samaa mieltä, ja haluavat juuri tämänkaltaisen tutkimuksen julkaistuksi. Näistä kahdesta nimenomaan lokaalit syyt ovat informatiivisia kyseisen tieteenalan metodologian ongelmia tutkiessa, siinä, missä universaalit syyt liittyvät lähinnä vertaisarviointiin itseensä.
Tästä pääsemmekin alkuperäisten tutkijoiden pointtiin, joka on nimenomaan huoli käsittelemiensä tieteenalojen metodologioista, ja metodologialtaan heikon tutkimuksen sekoittumisesta poliittisen diskurssin kanssa (kumpaankin suuntaan). Vertaisarvioinnissa on tietenkin universaaleja puutteita – mutta näiden puutteiden olemassaolo ei tarkoita, että jonkin tieteenalan lokaalit ongelmat jotenkin sen myötä automaattisesti puhdistuisivat. Jos väittää näin, vetoamalla esimerkiksi siihen, että ”kyllä taloustieteessäkin näin käy”, sortuu – näin tyylikkään modernia ilmaisua käyttääkseni – whataboutismiin.
TykkääTykkää
Tietenkään ei ole niin, että lokaalit ongelmat puhdistuisivat sillä, että muillakin aloilla on vastaavia ongelmia. Kirjoitukseni tarkoitus oli tuoda mahdollisimman tiiviisti esille sellaisia seikkoja, jotka jäivät esim. seuraamissani nettikeskusteluissa huomioimatta, kun useimmilla oli kiire lytätä nimenomaan nämä kyseiset alat ja taloustieteiden ulkopuoliset ihmistieteet yleisemminkin. Ongelma kun ei rajoitu vain ”epäkohtatutkimuksiin” – valitettavasti.
TykkääLiked by 1 henkilö