Dr. Oto Luthar in dr. Nataša Zabukovec Logar, člana OO Shoda za znanost, ki sta se nedavno udeležila sestanka z vodstvom Agencije republike Slovenije za raziskovalno dejavnost (ARRS), sta ob tem predala tale izhodišča za strokovno analizo recenzentskega postopka. OO Shoda za znanost je že na shodu leta 2019 poskušal opozoriti na nedoslednosti in napake v recenzentskem postopku za izbiro projektov ARRS. Kolegice in kolege so zaprosili, naj posredujejo svoje komentarje na recenzentske ocene, in tako so nastala spodaj objavljena Izhodišča za strokovno analizo recenzentskega postopka.
Zbrano gradivo kaže na dve pomanjkljivosti: način pridobivanja recenzentk oz. recenzentov in način izvedbe recenzije.
1. Način iskanja, pridobivanje in angažiranje recenzentk oz. recenzentov
• ARRS se zanaša predvsem na recenzente, ki jih predlagajo članice in člani znanstvenoraziskovalnih svetov ved in sami raziskovalke in raziskovalci oz. njihove ustanove.
• Nekateri recenzenti oz. recenzentke delajo za ARRS že 8 ali celo 10 let.
• Nekateri recenzenti oz. recenzentke so klientelno povezani z raziskovalkami in raziskovalci v Sloveniji (primer umetnostne zgodovine in predsednice Sveta za humanistiko).
• Mnoge recenzente oz. recenzentke v sodelovanje pritegnejo v zadnjem trenutku, zato od njih težko pričakujejo korektno izvedbo.
• Na družboslovju ni med recenzentkami in recenzenti niti enega klasičnega sociologa. Med več kot stotimi, ki so pristali na sodelovanje, prevladujejo predstavniki upravnih ved, ekonomije …, zaradi česar predlagateljice in predlagatelji ugotavljajo, da »so bile recenzije opravljene brez poznavanja problema in brez poznavanja kvalitativne metodologije kulturne sociologije«. Še več: prijavitelj oz. prijaviteljica ugotavlja, da »recenzent ne pozna kvalitativnih metod v […] družbenih vedah nasploh« in da je v njenem/njegovem »primeru ocenjeval prijavo ideološko oz. pristransko, torej glede na afiniteto do določene epistemologije in metodologije«.
• ARRS očitno angažira tudi take recenzentke in recenzente, ki priznavajo:
a) da ne razumejo metrike (»As I find difficult to translate the metrics provided by assessment of quantitative indicators provided by ARRS«),
b) da niso usposobljeni za ocenjevanje poslanih projektnih vlog (»While this is not my primary area of expertise or interest […] I am not qualified to assess how important the question is for Slovenia«; ali »I do not have proper ecxpertise to evaluate this project«).
Problem nastane v primerih, ko nepristojen recenzent oz. recenzentka na predlog ARRS na koncu ocenjevalnega postopka kljub vsemu poda oceno, ARRS pa jo upošteva.
2. Način izvedbe letošnjega (2019) recenzentskega postopka
Načelne ugotovitve:
• Določeno število letošnjih recenzij ne sledi niti staremu (vsak recenzent ločeno mnenje) niti novemu (skupna ocena) sistemu ocenjevanja.
• Recenzenti očitajo pomanjkljivosti predlogom, ki niso »navedli pomembnih dosežkov na področju gospodarstva, družbe in umetnosti«, ne glede na to, da je »v navodilih … izrazito navedeno, da se te dosežke navede samo v primeru prijave aplikativnega in NE temeljnega raziskovalnega projekta.«
• Pri določenih recenzentkah in recenzentih je mogoče zaznati ideološko motiviran pristop k ocenjevanju projektnih predlogov: V enem od primerov ocenjevalci trdijo, da člani projektne skupine svoj »raziskovalni interes« na področju »philosophy, literature, politics and ecology« vežejo »to a modality widespread in left postmodernism«.
• Previsok vpliv vodje projekta v oceni celotne projektne prijave: po mnenju nekaterih kolegic in kolegov je glede na to, da je že vnaprej predpisan vstopni prag za vodje projektov 33 % (prva faza ocenjevanja) prevelik poudarek na vodji. Zadoščalo bi 10 do 20 %.
• Recikliranje delov besedil; primerjava projektnih vlog istega področja je pokazala, da so ocenjevalke in ocenjevalci v različnih ocenah uporabljali iste fraze, iste stavke ali celo iste stavčne zveze.
• Poveličevanje odmeva in upoštevanosti: »as researchers in Humanities, we find the … valorisation (‘high/low respectability’ and ‘high/low impact’) based on the selected quantitative evaluation system highly problematic«.
Konkretno:
• Na prevelik razkorak med opisno in numerično oceno opozarjajo raziskovalke in raziskovalci že leta.
• Pritoževanje na račun terminologije. Izstopa primer, ki smo ga zapisali tudi na enega od transparentov Shoda za znanost: »One might regret, however, that the use of highly specialized terminology … or complex phrases … makes proposal difficult to comprehend and evaluate for a non-specialist«. Primer priča o že navedenem angažmaju ljudi, ki se ne počutijo poklicane za ocenjevanje poslanega predloga.
• Določeni projekti so slabše ocenjeni, ker so »preveč ambiciozni«.
• Površno branje vloge, ki spregleda določene hipoteze, nato pa prijaviteljici oz. prijavitelju odsotnost le-teh tu in tam celo očita.
• Neupoštevanje starosti prijaviteljice/prijavitelja: Na ZRC SAZU in NIB so večini mladih doktoric oz. doktorjev očitali pomanjkanje izkušenj in šibko bibliografijo.
• Nepoznavanje področja, ki ga ocenjujejo … kar mnogi prostodušno tudi priznajo, a ga kljub temu ocenijo.
• Arbitrarno presojanje sposobnosti cele ustanove: »two reviewers have doubts of lead organization […] to handle freshwater biofilm research despite of 10 years of experience«.
***
Glede na to, da si brez udeležbe tujih recenzentk in recenzentov ni mogoče predstavljati kredibilnega postopka izbora projektov, predlagamo strokovno analizo, ki bi morala vključevati tudi preverbo dopisa, ki ga ARRS pošilja ljudem, ki jih želijo pridobiti kot recenzentko oz. recenzenta. Je ta dovolj spoštljiv, informativen in racionalen obenem? V ta okvir sodi tudi odzivnost in kakovost pojasnil tistim, ki se ne znajdejo oz. ne razumejo navodil.
***
O tem, da je recenzijo mogoče opraviti korektno in da dobri recenzenti v večini primerov razumejo navodila oz. naletijo na pričakovano podporo uslužbenk in uslužbencev ARRS, pričajo komentarji tistih predlagateljic in predlagateljev, ki so se v svojem komentarju zahvalili za »spodbudno oceno«, ki je vsebovala »konkretne in korektne pripombe k znanstvenemu tehnološkemu delu projekta«, pripombe, na podlagi katerih bo mogoče doseči »še boljše projektne rezultate«.
***
Osrednji interes analize bi moral biti posvečen glavnim strukturnim nedoslednostim in konkretnim napakam postopka, ki jih omenjamo zgoraj.
Naročnik, financer in prejemniki analize:
Formalni naročnik analize bi moral biti Znanstveni svet agencije, za financiranje bi moralo poskrbeti Ministrstvo za izobraževanje znanost in šport, med prejemniki analize pa bi moral biti tudi Svet za znanost in tehnologijo.
OO Shoda za znanost