Vedná politika v prechode
Ako môžu viesť dobre mienené pravidlá k zlyhaniu systému1
Bulletin CSSM, číslo 3, ročník LVIII, ISSN 0009-0646
Praha - Bratislava 2017
Ľubomír Tomáška
Študuj vedu! - motivačné heslo celoslovenskej kampane financovanej v roku 2015 takmer 15 miliónmi eur z európskych štrukturálnych fondov korešponduje s celosvetovým rozmachom tejto ľudskej aktivity. Podľa nedávno zverejnených údajov2) sa ročné investície do výskumu a vývoja šplhajú k 2 biliónom (=2xl012) amerických dolárov, z nich je financovaná práca približne 10 miliónov vedcov, ktorí strávia za jediný rok v laboratóriách približne 26 miliárd hodín (2,9 milióna rokov). Počet vedeckých pracovníkov pritom ďalej narastá. Do vedeckej komunity ročne pribúda viac ako štvrť milióna nových doktorandov (približne 2x viac ako pred desiatimi rokmi). Aktuálnu početnosť výskumníkov ilustruje aj fakt, že v súčasnosti vo vede pracuje vyše 90% všetkých ľudí, ktorí sa jej kedykoľvek (v minulosti či prítomnosti) venovali.
Výsledkami vedeckej práce sú vedecké objavy, predkladané v podobe vedeckých publikácií. Množstvo publikovaných prác je rovnako ohromujúce ako počet ich autorov. Databáza Web of Science (WoS) v súčasnosti eviduje približne 100 miliónov vedeckých článkov. Iba v roku 2016 ich bolo približne 2,5 milióna a pribúdajú s frekvenciou jedna za 15 sekúnd.
Pravda, nie každý z 10 miliónov vedcov prispieva rovnakým dielom k nárastu všeobecného poznania o fungovaní sveta. Ako však jeho individuálny príspevok kvantifikovať? Jednou z možností je spočítať publikácie, ktoré vyprodukoval (resp. na ktorých sa podieľal). Pritom by sa brali do úvahy iba práce evidované v databázach zhromažďujúcich tzv. peer-reviewed články, t. j. také, ktorých kvalitu posúdili odborníci z príslušnej oblasti.3)4) Toto kritérium sa vo všeobecnosti používa pri hodnotení vedeckých inštitúcií. A inštitúcie na základe neho hodnotia aj vedecké výkony svojich zamestnancov. Ale... Publikácie sa odlišujú obsahom, ale aj významom opisovaného objavu. Ako práve tento význam zmerať? Elementárnym predpokladom odhalenia dôležitosti vedeckej správy je to, že si ju niekto prečíta. A tu sa začínajú prejavovať prvé problémy. Zdá sa, že približne 80% článkov okrem autorov, editora časopisu a posudzovateľov nečíta vôbec nikto!5) K tomuto zisteniu dospelo viacero štúdií využívajúcich rôzne metódy. Napríklad z analýzy čítania on-line verzií článkov na internete vyplynulo, že väčšina čitateľov po otvorení stránky nepokračuje posúvaním na nižšie riadky, na koniec textu sa dostane len mizivé percento.6) Merať čítanosť článkov počtom kliknutí alebo počtom stiahnutí treba nevyhnutne korigovať koeficientom blízkym 0,2, pričom aj takto získaný výsledok bude zrejme nadhodnotený.
Z inej štúdie vyplynulo, že články, na ktoré text príslušnej publikácie odkazuje, nielenže sú často citované chybne (napríklad nesprávnym uvedením čísel strán), ale tie isté chyby sa opakujú v rôznych publikáciách. Keďže je málo pravdepodobné, že by sa dvaja autori nezávisle od seba dopustili rovnakej chyby, možno predpokladať, že chybnú citáciu prekopírovali z inej publikácie. Mikhail Simkin a Vwani Roychowdhury7) na základe štatistickej analýzy takýchto chýb dospeli k záveru, že iba približne 20% citujúcich autorov pôvodnú publikáciu skutočne čítalo (reálne ich mohlo byť ešte menej, keďže ďalší mohli skopírovať správnu verziu citácie). Tento záver potvrdzujú aj osobné skúsenosti väčšiny autorov, ktorých články sú často citované nesprávne nie po formálnej, ale po obsahovej stránke. Potvrdzujú tým, že citujúci autor videl nanajvýš názov článku v databáze a nedostal sa ani k abstraktu. Diethard Tautz z Max Planckovho ústavu pre evolučnú biológiu v Plône vo svojej analýze pre časopis LabTimes v tejto súvislosti dopĺňa ešte jeden moderný trend: v prípade mnohoautorských publikácií si celý text neprečítajú ani samotní autori! Vyplýva to z „modulárnej" povahy týchto publikácií - sú zložené z rôznych textov, ktoré napíšu rôzni autori bez toho, aby si ich navzájom korigovali.8)
Ďalším parametrom hodnotenia kvality publikácie je počet odkazov, teda koľkokrát sa na ňu odvolali iní autori vo forme citácie. Logika velí, že čím viac je vo vedeckej literatúre odkazov na príslušnú publikáciu, tým významnejší objav priniesla. Richard van Noorden, Brendan Maher a Regina Nuzzo nedávno poukázali na to, že z desiatok miliónov článkov evidovaných vo WoS iba necelých 15 000 má viac ako tisíc ohlasov.9) Transformáciou týchto čísel do výšky Kilimandžára dospeli k záveru, že z celkových takmer 6 km vedeckých prác spomínané publikácie predstavujú jediný meter. Povážlivejšie sú však čísla z nadmorských výšok pod 4500 m. Tretina článkov má iba 1-9 citácií a takmer polovica (43 %) nemá jediný ohlas! Pripomeňme ešte, že 80% autorov citované články fyzicky vôbec nevidelo, to znamená, že citovaný článok nebol nevyhnutne aj prečítaný.
Zatiaľ sme teda dospeli k predbežnému záveru, že zo 100 miliónov publikácií, ktoré prešli odborným recenzným konaním, približne polovica nestála za citáciu a pravdepodobne viac ako tri štvrtiny si nikto okrem recenzentov a autorov (aj to asi nie všetkých) nedal námahu vôbec prečítať.
Stále sú tu však aj vedecké články, ktoré boli citované a evidentne aj prečítané, pretože na ne iní vedci nadviazali svojím výskumom. Teda minimálne chceli nadviazať, kým nezistili, že sa publikované výsledky nedarí reprodukovať! Ukázalo sa však, že frakcia takýchto nereprodukovateľných prác (v závislosti od oblasti výskumu) je alarmujúco vysoká.10) Prieskum Americkej spoločnosti pre bunkovú biológiu odhalil, že 72% respondentov nebolo schopných zopakovať publikované výsledky z iných laboratórií. V troch nezávislých štúdiách sa reprodukovateľnosť výsledkov z oblasti biomedicíny pohybovala v rozmedzí 11-45 %.11) Nedávny odhad finančných následkov nereprodukovateľnosti výsledkov len z oblasti predklinických štúdií dospel k sume 28 miliárd amerických dolárov.12)Dôvodov nereprodukovateľnosti výsledkov môže byť, pravdaže, veľmi veľa, od špecifických podmienok protokolu, ktoré sa jednoducho nedajú opísať slovami, až po podvody skresľujúce (či úplne fabrikované) výsledky. V extrémnych prípadoch, rozšírených najmä v ázijských krajinách, „autori" zadajú internetovej firme tému a za poplatok dostanú článok aj s výsledkami (pravdaže vygenerovanými počítačom podľa preferencií autorov).13) Alebo autor využije softvér, ktorý dokáže vygenerovať text, čo síce vyznieva odborne, ale nedáva žiadny zmysel.14) Dnes je jednou z techník, ktorou možno usvedčiť editorov niektorých časopisov, čo majú biznisplán postavený na maximalizácii počtu uverejnených spoplatnených príspevkov. Ďalší spôsob spočíva v tom, že autor editorovi sám navrhne recenzentov, ich mená sú, samozrejme, vymyslené a ich e-mailové adresy sú asociované so schránkou samotného autora, ktorý takto oponuje svoj vlastný článok. Potom neprekvapuje, že takéto posudky sú veľmi pozitívne.15) Jednoducho, existuje veľa možností, ako dostať do tlače článok, ktorého obsah sa od reálne získaných výsledkov líši (interval je pritom široký; začína marginálnymi úpravami a končí stopercentným výmyslom).
Dospeli sme teda k nasledujúcemu zisteniu: 10 miliónov vedcov na celom svete každý deň vychrlí viac ako 5000 publikácií, ktoré majú vysokú šancu, že: 1. si ich nikto neprečíta, 2. nikto sa na ne neodvolá, 3. aj v prípade, že sa stane opak, v polovici prípadov (z hocijakých dôvodov) budú výsledky nereprodukovateľné. A to všetko za dva bilióny (=2xl012) amerických dolárov. Veda, ktorej cieľom je „hľadanie pravdy",16) je dnes skôr inštitucionalizovaná fabrika, kde veľká časť prevádzok produkuje informačný smog.
Kvalita versus kvantita
Jedno z „optimistických" vysvetlení prezentuje bunkový biológ Claus Wilke na svojom blogu The Seriál Mentor.l7) Píše, že kvalita má tendenciu korelovať s kvantitou, pretože vedci, ktorí majú najcitovanešie práce, majú aj veľa publikácií. Porovnáva to s produkciou hitu v populárnej hudbe: na jeden hit väčšinou pripadá veľa skladieb, ktoré u publika nezarezonujú. Wilkeho argument však neobstojí. Neplatí totiž opačne: masívna produkcia publikácií neznamená, že aspoň malá časť z nich sa zmestí do dvoch najvyšších kilometrov pomyselného Kilimandžára. Parafrázujúc Wilkeho metaforu -môžem sedieť za klavírom, dokonca aj poznať noty a techniku hrania, ale dyzenterické chrlenie melódií nie je vôbec zárukou, že sa mi podarí vytvoriť niečo počúvateľné, nedajbože hit!
Problém je zrejme niekde inde. Napríklad v spôsobe hodnotenia vedeckej „tvorivosti". Ukázali sme si, že počet publikácií nie je vhodným kritériom a hodnotenie počtu citácií podáva často skreslené výsledky.18) Pritom práve tieto dva parametre používajú všetky možné agentúry a komisie na hodnotenie inštitúcií a vedeckých pracovníkov. Nečudo, že sa inštitúcie a vedeckí pracovníci podľa toho správajú. Produkujú publikácie a na zvyšovanie ich počtu využívajú rôzne triky, pričom nemusia byť nevyhnutne klasifikované ako spomínané podvody.19) A tak pribúda autorov, publikácií a bodov do hodnotenia. Na základe získaných bodov sa potom inštitúcie zoraďujú do rebríčkov a tie najvyššie sa identifikujú ako špičkové, resp. excelentné. Relatívne nedávno etablovaný status excelentnosti je pritom veľmi dôležitý, pretože od neho sa odvíja financovanie, či už priame (zo štátnych zdrojov), alebo sprostredkované (cez študentov a privátnych sponzorov). Avšak excelentnosť definovaná na základe uvedených parametrov je prinajmenšom problematická. Ilustrujme to na príklade univerzít, inštitúcií, ktoré sú s excelentosťou spojené od čias Wilhelma von Humboldta, pričom však význam tohto pojmu sa v posledných desaťročiach dramaticky zmenil.
„Univerzity, ktoré sa na povrchu prezentujú ako chrámy vedeckej excelencie, sú tlačené do participácie na publikačnej olympiáde, ... hoci dôležitosť mnohých publikácií je nulová a okrem bodov do hodnotenia nemajú žiadny význam," píše v článku hodnotiacom súčasný stav európskych univerzít švajčiarsky ekonóm Mathias Binswanger.20) A pokračuje: „V skutočnosti viac publikácií vedie len k zvýšeniu počtu strán papiera, ale tento počet nehovorí o vedeckom význame príspevku vôbec nič, tak ako irelevantný je počet nôt pre kvalitu príslušnej skladbry"21)Napriek tomu súčasný systém hodnotenia postupne nahradil pôvodnú motiváciu vedeckej práce Taste for Science ambíciou Taste for Publications, pretože tá je prerekvizitou do klubu excelencie. „Predpoklad, že univerzity majú za cieľ hľadanie pravdy, sa stáva čoraz väčšou fikciou. Moderné univerzity sú hnané ambíciou po excelentnosti a v tomto zmysle hľadanie pravdy nie je veľmi užitočné." Táto ambícia vedie okrem iného aj k tomu, že priemerní a nekreatívni vedeckí pracovníci sú motivovaní k produkcii publikácií. Fakt, že tieto práce sú z hľadiska nárastu vedeckého poznania absolútne neužitočné, nie je argumentom.„Nečinnosť bola nahradená produkciou nonsense."22) Okrem toho, mnohí autori volia tzv. salámovú taktiku: „Vediac, že ultimátny cieľ je zvyšovať počet vedeckých výstupov, výskumníci sa snažia vyprodukovať z minima maximum."
Klonovanie výsledkov
Podľa jedného z anonymných prieskumov takmer 5% amerických vedcov priznalo, že publikovalo viackrát ten istý výsledok.23),24) Producenti nonsensu však zďaleka nie sú jediní, čo kontaminujú vedeckú literatúru. Aj kreatívni ľudia sa stávajú obeťami systému stimulujúceho excelentnosť meranú počtom publikácií a citácií. Aby dostali publikácie do „vysokoimpaktových" časopisov, často urobia takmer čokoľvek, čo od nich požadujú oponenti. Tento vzorec správania, nazývaný aj „akademická prostitúcia", vedie okrem iného ku konformite obsahu, čo Gerhard Frôhlich vyjadruje slovami: „Vo vede prevládajú podobné podmienky ako v katolíckej cirkvi: cenzúra, oportunizmus a adaptácia na hlavný prúd. Výsledkom je, že sa vyvíja technokratický spôsob hodnotenia a hierarchizácie, ktorý brzdí vedecký pokrok."2S) Okrem toho, keďže publikovanie v čo „najlepšom"26) časopise sa stáva až existenciálnou otázkou, prostitúcia smerom k oponentom nemusí byť jediným ústupkom. Prikrášlenie dát tak, aby lepšie podporovali prezentovaný výsledok, je jedným z dôvodov nereprodukovateľnosti veľkej časti štúdií, ako sme už spomínali. A v neposlednom rade, dokazovanie excelencie vyžaduje aj nemálo administratívnej práce. Prispieva k tomu aj tlak na tvorbu excelentných sietí tvorených excelentnými tímami, ktorý vychádza z predstavy, že spájanie individuálnych skupín bude mať „synergický efekt". Z praxe je však zrejmé, že tento predpoklad platí iba pre byrokratickú záťaž zainteresovaných. Efekt na vedeckú produktivitu (neberúc do úvahy jej kvalitu) je prinajmenšom diskutabilný. Binswanger to komentuje: „Byrokracia a nie výskum je hlavnou časovou investíciou do písania publikácií a realizácie projektov, ktorých príspevok k vedeckému poznaniu je nulový a ich jediným cieľom je zvýšiť počet merateľných výstupov."
Trend hodnotenia vedeckej kvality univerzít podľa kvantity publikácií a citácií korešponduje so spôsobom hodnotenia ich podielu na vzdelávaní. Kým v 50. rokoch minulého storočia nastupovalo do prvých ročníkov európskych vysokých škôl približne 5% populácie absolventov stredných škôl, v súčasnosti je to takmer polovica všetkých maturantov. Absolútny počet talentovaných, múdrych študentov je rovnaký, sú však čoraz viac riedení v mori ich spolužiakov, ktorým chýbajú potrebné schopnosti a motivácia. Z elitárskych inštitúcií sa stali továrne na masovú výrobu vysokoškolákov. Časť z nich rozšíri vedeckú komunitu a zapojí sa do masovej produkcie publikácií, z ktorých väčšina okamihom uverejnenia splní svoju jedinú úlohu - prinesie body do hodnotenia.
Je evidentné, že takýto systém nemôže dlho vydržať. Nielen z ekonomických dôvodov, ale aj kvôli kreditu, ktorý si moderná veda predovšetkým v 20. storočí získala. Nikto nemôže spochybniť fakt, že kvalita ľudského života sa práve vďaka výsledkom vedeckého výskumu po všetkých stránkach dramaticky zlepšila. Aj o fungovaní sveta máme dnes z toho istého dôvodu oveľa adekvátnejšiu predstavu. Zvyšovanie investícií do vedy a do prípravy novej generácie vedcov bolo preto úplne racionálnou stratégiou. Ukázalo sa však, že finančné zdroje rastú oveľa pomalšie, ako narastá počet vedcov. Na jednej strane by sa mohlo zdať, že to zvyšuje súťaž, a teda malo by zvyšovať aj celkovú kvalitu. Pár desaťročí to tak skutočne aj fungovalo, ale len dovtedy, kým nenastal masový nárast vedeckej komunity. Dokiaľ ju tvorili skutoční experti, význam vedeckých objavov sa mohol hodnotiť na základe ich obsahu, a nie podľa počtu publikácií, ktoré ich opisovali. Systém peer-review fungoval, pretože títo experti boli kompetentní posúdiť, či má práca toho-ktorého autora zásadný, alebo iba marginálny význam. Tento systém, pravdaže, nebol bezchybný, ale bol dostatočne robustný, aby chyby korigoval.
Devalvácia peer-review
Zaplavenie vedeckej komunity miliónmi výskumníkov a postupné riedenie populácie skutočných expertov však vedie k devalvácii peer-review a jeho nahradeniu scientiometrickými parametrami. Dnes už často ani nevieme, čo presne robia naši kolegovia na tej istej katedre, zato vieme takmer presne, koľko majú publikácií či citácií a či sa ich Hirschov index pohybuje nad alebo pod mediánom príslušného vedného odboru. Keby ste sa v 60. rokoch minulého storočia opýtali Jamesa Watsona, koľko má Francis Crick citácií, vašej otázke by vôbec nerozumel. Ak by ste argumentovali, že podľa toho by sa dalo zistiť, či je Crick excelentný vedec, bol by úplne mimo. To, že Francis Crick je výnimočný mysliteľ, bolo predsa zrejmé z obsahu jeho prednášok, článkov, listov a z otázok, ktoré kladie na seminároch! Každý z jeho kolegov (peers) by bol reagoval rovnako; nikto by nepotreboval počty citácií a publikácií na dôkaz toho, že Crick je špičkový vedec.27'
V premnoženom, hyperkompetitívnom prostredí súčasnej vedeckej komunity je však takéto kompetentné hodnotenie kvality vedeckého príspevku jednotlivcov a inštitúcií oveľa zložitejšie. Nesúvisí to iba so špecializáciou jednotlivých oblastí, ale aj s ich zamorením priemernými jednotlivcami, ktorí obsadzujú vplyvné pozície v grantových a ratingových agentúrach či v prijímacích komisiách. V istom zmysle sme sa dostali do neriešiteľnej dilemy: na jednej strane peer-review kvôli takýmto členom komunity zlyháva, na strane druhej jeho náhrada číselnými indikátormi kvality systém korumpuje.28) Aké je riešenie? Zrušiť scientometrické parametre? Čím ich nahradiť? Nie je lepšie ponechať tieto parametre (napriek ich nedokonalosti) ako skúšať alternatívy, ktoré majú šancu situáciu ešte zhoršiť?29) Akú závažnosť im pri hodnotení prisudzovať a do akej miery sa spoliehať na názor kolegov? Aké ďalšie indikátory pri hodnotení kvality brať do úvahy?30)
To, čo sme uviedli, je povrchný opis všeobecného stavu vedy. Dôležité je, že napriek všetkým problémom sa denne dozvedáme o významných vedeckých objavoch. Nevznikli však v náhodne rozptýlených miestach, ale sú koncentrované do niektorých geografických lokalít. Ak platí, že veda má všeobecný problém, prečo sa neprejavil všade rovnako? Prečo je napríklad frekvencia dôležitých objavov na Slovensku nižšia ako v okolitých krajinách Európy? Ide do vedy u nás oveľa menej financií? Áno, Agentúra na podporu výskumu a vývoja mala rozpočet na rok 2015 necelých 40 miliónov eur, ale na druhej strane staviame vedecké parky či vedecké centrá, financujeme centrá excelentnosti, kompetenčné centrá za stovky miliónov eur. A dovolíme si (v tejto situácii) investovať 15 miliónov eur do propagačnej kampane Študuj vedu! Financie sú síce dôležité, ale nepredstavujú ten primárny dôvod našej bezútešnej situácie.
Centrá excelencie
Hlavný problém bude asi v nás, čo vedeckú komunitu na Slovensku tvoríme. Či chceme, alebo nie, sme produktmi kultúry, ktorá nepreferovala skutočnú excelenciu, ale konformitu a predstieranie „hromadnej špičkovosti". Slovenské centrá excelencie, ktorých primárnou výnimočnosťou je to, že sú hlavným atraktorom miliónov eur z eurofondov 31) bez akejkoľvek korelácie s výnimočnosťou vedeckou, sú toho rukolapným dôkazom.32) Problémy, do ktorých sa dostáva veda v zahraničí, sme vďaka našim kultúrnym špecifikám dotiahli do úplnej dokonalosti. Scientiometrický fetišizmus má u nás až absurdný rozmer: na to, aby ste sa stali špičkovým tímom, musíte sa prihlásiť do súťaže, v ktorej vyplnením excelovskej tabuľky dokazujete, že ste skutočne špičkoví. Ak sa neprihlásite, tým vlastne priznávate, že ste (pod) priemerní.33) V tabuľke, pravdaže, môžete modelovať rôzne nastavenia a pri troche šikovnosti sa vám prah „špičkovosti" určite podarí prekonať.34) Druhá možnosť, ako sa stať špičkou, je nechať sa „odhaliť" špecializovanou ratingovou agentúrou, ktorá príslušnej inštitúcii za pár desiatok tisíc eur (ďalší dôkaz, že peniaze na vedu máme) podľa analýzy databáz špičkové osoby identifikuje. Aby táto identifikácia bola transparentná, robí ju štatistik, ktorého pravdaže nezaujíma obsah prác, iba ich počet a počet ohlasov na ne. A inštitúcie sa potom tešia, koľko majú špičkových tímov či vedcov a môžu si tak nalepiť punč síce bezobsažnej, ale číslami podloženej excelentnosti.
Štvrťstoročie po Novembri 89 sme sa ocitli v paradoxnej situácii. Kopírovali sme stratégie na podporu vedy, ktoré dovtedy efektívne fungovali na Západe. Za 25 rokov však v systéme nastala kríza, u nás ešte zvýraznená kultúrnym kontextom, do ktorého bol tento systém implantovaný. Ak sa s tým chceme vysporiadať, musíme nájsť riešenie všeobecného problému (premnožené, hyperkompetitívne prostredie s limitovanými finančnými zdrojmi a zle nastavenými kritériami hodnotenia) a lokálneho problému druhého rádu (kultúrne stereotypy).
Riešenie?
Pravdaže, problém je na prvý pohľad taký komplexný, že sa zdá byť neriešiteľný. Ako každý systém, ktorý prešiel dlhodobým vývojom, má aj systém hodnotenia a manažovania vedy svoje „evolučné obmedzenia". Pozostáva z množstva navzájom interagujúcich premenných, mnohé z nich zrejme ani nepoznáme. Jeho zmeny sú preto spojené s rizikom, že neprinesú želaný výsledok. Znamená to, že máme na pokus o riešenie rezignovať? Možno sa problém nejakým samoregulačným mechanizmom vyrieši sám. Aká je záruka, že pokus o intervenciu nepovedie k horšiemu výsledku, ako je súčasný stav? Ak je však hlavným problémom premnoženie vedeckej komunity, bolo by riešením zamerať sa na tento parameter. Prestať sa tešiť z toho, že na univerzity sa napriek nepriaznivému demografickému vývoju stále dostávajú tisícky študentov, naopak, obmedziť počet prijatých a vyberať ich na základe prísnejších kritérií. Upraviť študijné programy tak, aby sa na doktorandské štúdium dostali iba tí najlepší z najlepších a ostatným dať možnosť získať vedomosti a zručnosť, prostredníctvom ktorých nájdu uplatnenie na trhu práce mimo vedeckých laboratórií. Paralelne s tým znížiť počty akademických pracovníkov. Vďaka nižšiemu počtu študentov by sa jednak znížili finančné a časové nároky na zabezpečenie výučby, jednak (ako sme spomínali) veľká časť „výskumníkov" nemá potenciál nič podstatné vybadať. Pri rovnakom finančnom balíku by sa mohlo podporiť vyššie percento vedcov vyššími sumami. A keďže by to boli tí, ktorí majú potenciál niečo vymyslieť, boli by to užitočnejšie vynaložené prostriedky.35)
Toto je základ návrhu, ktorý dali prednedávnom na diskusiu americkej vedeckej verejnosti jej štyria významní predstavitelia.36) Vychádzali pritom zo stavu, ktorý je výsledkom nesprávneho predpokladu z 50. rokov minulého storočia, že financie na výskum v USA budú donekonečna rásť.37) Iluzórnosť tejto projekcie ilustrujú okrem iného faktom, že zdroje najväčšej americkej biomedicínckej grantovej agentúry (National Institutes oj Health; NIH) boli v roku 2014 na úrovni 25% rozpočtu roku 2003.38) To má za následok napríklad:
1. zníženie úspešnosti grantových aplikácií z 30 na 10%; 2. zvýšenie priemerného veku úspešných uchádzačov o granty; 3. favorizovanie aplikácií s garantovaným krátkodobým výsledkom pred riskantnej šími projektmi, ktoré však majú potenciál priniesť zásadnejšie objavy; 4. fakt, že 60% absolventov doktorandského štúdia nepokračuje vo vedeckej kariére, znehodnocuje investície do ich vzdelania.39)
Nestálo by za to uvažovať o podobnom návrhu aj u nás? Ak sú problémy vedy na Slovensku nadstavbou všeobecných problémov systému, ktorý sme sa v posledných desaťročiach snažili napodobniť, potom by táto stratégia za diskusiu určite stála. Zásadnou otázkou (podobnou Yossarianovej dileme v knihe Hlava 22) pravdaže je, kto bude posudzovať kvalitu príslušníkov slovenskej vedeckej komunity. Keď priznáme, že systém hodnotenia na základe scientometrických ukazovateľov je náchylný na inváziu oportunistov, kto bude naším Watsonom, čo bude posudzovať Crickove vedecké kvality? Celkom určite by sme sa nemali posudzovať navzájom; takéto pokusy vždy končili nejakou verziou slovenského nepotizmu a kritériá sa upravili tak, aby cez ne prešli všetci členovia klanu. Posudzovať by mala externá a nestranná skupina expertov a hodnotila by obsah, a nie kvantitu. Ako však takýchto expertov identifikovať? Aké kritériá by mali spĺňať? Ako sa vyhnúť situácii, že nás budú hodnotiť experti, ktorí sami patria do skupiny oportunistov?40)41)
Nie sú to len technické otázky. Stratégia, ktorá by zvyšovala priemer kvality vedeckej komunity a inštitúcií na Slovensku redukciou akademickej populácie, by nevyhnutne mala značné a okamžité sociálne42) a ekonomické následky.
Je asi ťažko predstaviteľné, že by sa nejaký politik či štatutár inštitúcie pustil do tak riskantného projektu. Nielen preto, že súčasný systém je extrémne odolný voči takémuto typu zmien,43) ale aj preto, že by sa na jeho uskutočnenie ťažko hľadala podpora (voličov, študentov, zamestnancov). Možno však o ňom aspoň diskutovať a hľadať prípadné alternatívy. V situácii, keď vieme, že systém je zlý, by bolo až morálnym zlyhaním nepokúsiť sa hľadať spôsoby, ako ho zmeniť k lepšiemu.44)
Medzitým by sme nemali rezignovať na zmeny, ktoré sú síce iba kozmetického charakteru, ale rovnako podstatné. Zmeny nášho každodenného správania v kolektívoch na univerzitách a výskumných ústavoch. Stačí málo - zaujímať sa o to, čo robia ľudia v našom bezprostrednom okolí. Komunikovať medzi sebou o tom, čo robíme, nielen porovnávať bezobsažné metriky! Zagratulovať kolegovi, ktorému sa podarila pekná publikácia. Nemerajme našu akademickú hodnotu číslami, ale schopnosťou úprimného zdieľania radosti z úspechu iných. Oslavujme ho spoločne! Veda je (aj) kompetitívna aktivita, a preto schopnosť tešiť sa z úspechu kolegov tej istej inštitúcie môžu mať len zdravo sebavedomí príslušníci akademickej obce. Keďže toto zdravé sebavedomie je v pozitívnej korelácii so zmysluplnosťou a kvalitou vlastnej vedeckej práce, stálo by za úvahu zistiť, koľko úprimne sa radujúcich ľudí by sa na takej oslave zúčastnilo.
Poznámky
Zdroje údajov použitých v texte sú uvedené v poznámkach získaných z online verzie.
Nature 517: 12-13
Pravdaže, existujú rôzne „vylepšenia" tejto techniky; napríklad brať do úvahy iba časopisy, ktoré dosahujú istú hodnotu (napr. medián v danej vednej oblasti) tzv. impakt faktora. Absurdnosť tohto kritéria pre hodnotenie kvality publikácií bola detailne zargumentovaná napr. v San Francisco Declaration on Research Assessment; www.embo.org/news/research-news/research-news-2013/ san-francisco-declaration-on-research-assessment.
Okrem toho je možné, že o niekoľko rokov publikovanie výsledkov prejde na systém post-publication peer review, pri ktorom autor vystaví publikáciu prostredníctvom komerčného (alebo osobného) portálu a čitatelia ho budú komentovať online. Článok pritom bude „živý", t.j. bude ho možno aktualizovať podľa pripomienok, dopĺňať novými výsledkami. Vznikne z toho nočná
mora nielen pre bibliografov (Ako budú takéto publikácie evidované?), ale aj pre scientometrikov (Ako budú hodnotené? Podľa počtu otvorení? Podľa počtu komentátorov (všetkých, či len pozitívnych)? Ako bude potom ošetrené „samohodnotenie" článkov autormi?).
5) Je otázne, či to tak bolo vždy. Dalo by sa totiž špekulovať, že uľahčenie prístupu
k literatúre prostredníctvom internetu znížilo jej cenu. Inými slovami, ešte pred
30 rokmi bolo na prečítanie článku potrebné ísť do knižnice, požičať si časopis,
prípadne poslať (a zaplatiť) žiadanku o reprint. Po takýchto investíciách človek
cítil akýsi vnútorný záväzok si vybojovaný článok aj prečítať. Dnes, keď na
otvorenie článku stačí pár klikov, takáto motivácia chýba. Mnohí si asi povedia,
že sa k textu vrátia neskôr, pričom väčšinou to pri končí pri tomto nenaplnenom
odhodlaní. Okrem toho sa zmenil aj spôsob prehľadávania literatúry.
V minulosti ľudia listovali v časopisoch a prechádzali celými ich obsahmi a na základe toho si vyberali, čo budú čítať. Dnes sa k článkom dostávajú viac cez browsovanie databáz prostredníctvom kľúčových slov, alebo na základe e-mailových alertov. Vyplýva to aj toho, že časopisov je snáď o rád viac, ako pred štvrťstoročím, ale aj z pohodlnosti. Stálo by za to zistiť, koľko ľudí dnes pravidelne skutočne prelistuje aspoň základný balík časopisov.
-
Complex Systems 14, 269-274, 2003.
LabTimes 3, 5/2014
Nature 514, 550-553, 2014.
Harris R.: Rigor Mortis. How Sloppy Science Creates Worthless Cures, Crushes Hopes, and Wates Billions. Basic Books, 2017.
Kaiser J.: The cancer test. Science 348,1411-1413, 2015; pozri však tiež Garraway L.: Remember why we work on cancer. Nature 543, 613-615, 2017.
Freedman L. R, Cockburn I. M., Simcoe T. S.: The economics of reproducibility in preclinical research. PLoS Biol. 13: el002165, 2015.
-
Sokal A. D.: Transgressing the boundaries: Towards a transformative hermeneutics of quantum gravity. Social Text #46/47 (spring/summer 1996). Duke University Press, 1994, pp. 217-252.
-
„Veda je hľadaním pravdy" je názov rozhovoru, ktorý urobili Michal Ač
a Karol Fajth pre nedeľné vydanie Pravdy v druhej polovici 1980. rokov. Je pozoruhodné, že rozhovor v denníku ÚV KSS prešiel cenzúrou. Podstatnejšie však je, že je v ňom aj po 30 rokoch aj pre diskutovanú tému veľa stále platných a inšpiratívnych myšlienok; nakoniec, ako vo všetkých Kováčových textoch; pozriwww.biocenter.sk/lkpublics.html.
18) Jedným z príkladov skreslenia dôležitosti publikácie prostredníctvom citácií
sú práce, ktoré predbehli dobu. Tieto práce nie sú citované niekoľko rokov
po uverejnení, pričom najčastejším dôvodom je, že ich významu v čase
publikovania nikto neporozumel. Klasickými príkladmi sú Mendel G.: Versuche
uber Pflanzen-Hybriden. Verhandlungen des naturforschenden Vereines in
Brúnn. 4, 3-47, 1866; resp. Mitchell P.: Coupling of hosphorylation to electron
and hydrogen transfer by a chemi-osmotic type of mechanism. Nature 191,
144-148,1961. Netýka sa to pritom iba historicky unikátne prípady. To, že
práce prinášajúce originálne výsledky sú citované s časovým odstupom, sa
zdá byť všeobecnejší úkaz (Stephan P., Veugelers R., Wang J.: Blinkered by bibliometrics. Nature 544, 411-412, 2017).
19) Napríklad stratégia, ktorú by sme mohli nazvať „autorský hitchhiking*
(v slovenčine stopovanie). Môžeš prísť urobiť meranie na prístroji, a pripíšeš ma na publikáciu. Poskytnem ti nejakú substanciu, ktorú som popísal v mojej predchádzajúcej práci a (hoci som sa publikáciou zaviazal, že ju urobím voľne prístupnú pre ostatných členov vedeckej komunity) urobíš mi malú službu a zaradíš ma medzi spoluautorov. A popri tom odcituješ zopár mojich prác (nemusíš ich ani čítať, veď vieš, ako to chodí).
Binswanger M.: Excellence by nonsense: The competition for publications in modern science. In: Bartling S., Friesike S. (eds.): Opening Science: The Evolving Guide on How the Internet is Changing Research, Collaboration and Scholarly Publishing, Springer Open, pp. 49-72, 2014.
Všeobecnejšie sa téme venuje rakúsky filozof Konrad Paul Liessmann (Liessmann K. P.: Teorie nevzdělanosti. Omyly společnosti vedení. Academia, Praha 2011).
V pôvodnom znení je tento odkaz presnejší: „Non-performance has been replaced by the performance of nonsense."
Six A.: Schreibkrampf unter Forschern. Neue Zurcher Zeitung am Sonntag. 67, 2008 (cit v Binswanger M., 2014).
V experimente, ktorý uskutočnil editor časopisu Science John Bohannon, sa ten istý článok s vymysleným menom autora a vyfabrikovaným obsahom podarilo dostať do 157 časopisov. Science 342, 60-65, 2013. Ešte systematickejší výskum urobili nedávno poľskí autori, ktorí „ponúkli" rôznym časopisom vymyslenú editorku Annu O. Szust (oszust je v polštine podvod) s absolútne neadekvátnou kvalifikáciou pre funkciu členky edičnej rady. Z 350 oslovených časopisov ju 50 akceptovalo (väčšinou s podmienkou priamej platby, alebo podielu na zisku)
a u mnohých stále figuruje v zozname členov edičnej rady, hoci boli informovaní o tom, že ide o neexitujúcu osobu (Sorokowski et al., 2017). Českým recesistom sa takto podarilo dostať za člena edičnej rady jedného časopisu Josefa Švejka; www.scirea.org/journal/EditorialBoard?JournalID=88000.
25) Frôhlich G: Peer Review und Abweisungsraten: Prestigeschmuck
wissenschaftlicher Journale. Forschung und Lehre, 338-339, 2007 (cit
v Binswanger M., 2014).
Myslí sa s vysokým impakt faktorom, pozri vyššie.
Je to podobný prípad ako keď sudca amerického Najvyššieho súdu Potter Stewart mal v súvislosti s jedným prípadom definovať obscénnosť: „I know when I see it".
V tomto zmysle je veľmi poučná analýza, ktorá vznikla pod záštitou Higher Education Funding Council for England (HEFCE). Jej cieľom bolo sformulovať odporúčania pre využívanie kvantitatívnych indikátorov pre hodnotenie kvality vedeckých výstupov. Jeden z jej záverov je, že je veľmi nízka korelácia medzi hodnotením formou peer-review a väčšinou z používaných indikátorov. Viac sa dá dočítať na www.hefce.ac.uk
Parafrázujúc známy Churchillov výrok o demokracii: „Indeed it has been said that democracy is the worst form of Government except for all those other forms that have been tried from time to time."; stačí zameniť democracy za scientometry a Government za assessment of research quality.
Jednou z inšpirácii môže byť napríklad tzv. Leidenský manifest (www. leidenmanifesto.org) popísaný v Hicks D., Wouters P.: The Leiden Manifesto for research metrics. Nature 520:429-431, 2015.
Keďže jednou z hlavných podmienok fungovania centier excelencie, kompetenčných centier, či vedeckých parkov je ich udržateľnosť, je „súťaž" o štrukturálne fondy (ŠF) limitovaná iba subjekty, ktoré boli „úspešné"
v predchádzajúcich kolách. Je veľmi pravdepodobné, že po vyčerpaní ŠF budú na rovnaký účel prerozdelené obmedzené prostriedky zo štátneho rozpočtu určené na podporu vedy.
Tento problém bol detailnejšie popísaný v: Tomáška Ľ., Nosek J.: Opinion: Science in a small European country. The Scientist, 2014; www.the-scientist. com/?articles.view/articleNo/39008/title/Opinion--Science-in-a-Small-European-Country/ a Tomáška Ľ.: Tri experimenty slovenskej vedy. .týždeň 35: 57-59; www.tyzden.sk/casopis/11863/tri-experimenty-slovenskej-vedy/; na záveroch týchto analýz zatiaľ nie je čo meniť.
To možno naznačuje, že termín „excelentnosť" pochádza práve z tohto produktu Microsoftu.
Výsledkom napríklad je, že v hodnotení vedeckých inštitúcií Nature Index za obdobie jún 2014 - máj 2015 sa zo špičkových tímov identifikovaných Akreditačnou komisiou za Univerzitu Komenského neobjavil výstup ani jedného z nich (www.natureindex.com). Mimochodom, porovnanie výsledkov Slovenskej a Českej republiky komentovali aj Lidové noviny (www.img.cas.cz/ files/2015/07/NI2.pdf).
35) Zástanci tézy, že viac študentov a viac vedcov vyprodukuje viac objavov
by si mali skúsiť odpovedať na otázku: Koreluje nárast vedeckej komunity
s proporčným nárastom objavov zásadného významu (typu odhalenie štruktúry DNA, rozlúštenie genetického kódu)? Hoci termín „zásadný objav" je pomerne vágny, intuitívne sa natíska negatívna odpoveď. Jedno z možných vysvetlení je, že šance na takéto objavy sú čoraz menšie, pretože tie „ľahšie" už boli uskutočnené. Do istej miery to pripomína situáciu, keď sa vyberiete na hríby. Čím neskôr idete do lesa, tým viac času vám zaberie, kým nejaký hríb nájdete. V istom bode sa v lese už nachádzajú iba huby (napríklad hľuzovky), ktoré sú síce veľmi cenné, ale ktorých nájdenie vyžaduje špeciálne schopnosti. Je zrejmé, že zvýšenie počtu hubárov nebude v lineárne korelovať s počtom hľuzoviek, ktoré nájdu. Funguje skôr stratégia, že do lesa sa vyberie niekoľko hubárov-špecialistov, ktorí majú práve vyžadované extra schopnosti. Je možné, že sme v mnohých vedeckých disciplínach v rovnakej situácii: najviditeľnejšie hríby sú už vyzbierané našimi predchodcami a hoci les ešte ukrýva cenné kusy, na ich nájdenie nepotrebujeme masy, ale ľudí, ktorí majú predpoklady ich nájsť.
36) Alberts B., Kirschner M. W., Tilgman S., Varmus H.: Rescuing US biomedical
research from its systematic flaws. Proc. Natl. Acad. Sci. USA 111, 5773-5777,
2014 (o rok neskôr vyšiel dodatok: Alberts B., Kirschner M. W., Tilghman S.,
Varmus H.: Opinion: Addressing systemic problems in the biomedical research
enterprise. Proc. Natl. Acad. Sci. USA 112,1912-1913, 2015). Títo štyria autori,
niekedy označovaní aj ako Quartet, založili stránku Rescuing Biomedical
Research (rescuingbiomedicalresearch.org), na ktorej je možné diskutovať
o možných riešeniach tohto problému.
37) Táto predstava vychádzala z analýzy, ktorú pripravil pre amerického
prezidenta Trumana riaditeľ Úradu pre vedecký výskum a vývoj Vannevar
Bush; Bush V: Science: The endless frontier. A report to the president on
Návrh rozpočtu pre NIH na rok 2018 je ešte tragickejší a počíta so škrtom 5,8 miliardy dolárov, čo je v porovnaní s rokom 2016 redukcia o takmer 18 percent; Mervis J.: Trump's 2018 budget proposal „devalues" science. Science 355,1246-1247,2017.
Pre novšiu analýzu pozri Gould J.: How to build a better PhD. Nature 528, 22-25, 2015.
Tak isto, ako v prípade špičkových tímov je primárnym predpokladom, že sa adept na experta sám prihlási.
Sympatický pokus v roku 2016 podnikla Slovenská Akadémia Vied, ktorá si nechala vyhodnotiť kvalitu jednotlivých ústavov panelom zahraničných odborníkov. Výsledkom bola správa s mnohými užitočnými odporúčaniami a hodnotením na škále A-C. Pitoresknou však bola fáza pred zverejnením výsledkov akreditácie, počas ktorej prebiehali negociácie o jemnom posúvaní (smerom k lepším hodnotám), či dopĺňaniu stupňov typu B+ pre „lepšie" ústavy v danej skupine.
Nie všetci by sa nevyhnutne stali nezamestnanými. Systém by poskytoval priestor pre kvalifikovaných technikov a laborantov, ktorí majú v zahraničí bežne VŠ vzdelanie, prípadne lektorov.
Na druhej strane, zmeny, ktoré celkom určite ešte viac (a veľmi pravdepodobne nezvratne) zdeformujú je evidentne možné presadiť bez veľkého odporu vedeckej komunity. „Stratégia výskumu a inovácií pre inteligentnú špecializáciu SR" (alebo tzv. RIS3) je dokument, ktorý (odhliadnuc od frázovitých, alebo nezrozumiteľných pasáží) bude mať na fungovanie vedy na Slovensku zásadný význam. Diskusia v rámci slovenskej akademickej obce o RIS3 však bola prinajlepšom len symbolická.
Výstrahou nám môže byť situácia v zdravotníctve, ktoré evidentne kolabuje.
Z lekárskej komunity nezaznel jediný kvalifikovaný názor, ako zmeniť systém. Jediné „systémové riešenie" bolo zvýšenie platov, to však na fungovanie zdravotníctva malo iba marginálny vplyv (posudzujúc situáciu z pozície pacienta). V tomto zmysle je analogická iniciatíva kolegov zo SAV z roku 2015, ktorá riešila akútny (finančný) problém, ale na riešenie systémových problémov sa neodhodlala.
Článek pŕevzat z časopisu Vesmír 96, červenec-srpen 2017; redakce Bulletinu ČSSM dékuje za udelení souhlasu redakci Vesmíru i autorovi článku.
