„Zmiany w systemie ewaluacji są niezbędne, aby sprostać wyzwaniom współczesnej nauki. Proponowane przez nas rozwiązanie pozwala ustrzec system szkolnictwa wyższego przed przeprowadzeniem kolejnej niesprawiedliwej, promującej przeciętność i generującej patologie ewaluacji” – czytamy w wydanym przez Kolegium Rektorskie UJ stanowisku dotyczącym obecnie obowiązujących – w opinii znaczącej części środowiska naukowego, wadliwych – zasad oceny jakości działalności naukowej.

Ewaluacja jakości działalności naukowej jest jednym z podstawowych narzędzi służących realizacji polityki naukowej państwa, a w konsekwencji planowaniu i organizowaniu pracy jednostek naukowych w taki sposób, aby skutecznie realizowały swój nadrzędny cel, jakim jest doskonałość naukowa. System ten powinien zachęcać do realizacji ambitnych badań naukowych, sprzyjać innowacjom, a przez to zwiększać wpływ polskich badaczy na światową naukę, podnosić prestiż polskiej nauki na arenie międzynarodowej oraz pozytywnie oddziaływać na rozwój gospodarki i funkcjonowanie społeczeństwa.

Ewaluacja jakości działalności naukowej za lata 2017-2021 wykazała liczne wady obecnie obowiązującego modelu, doprowadzając do drastycznie zniekształconego obrazu polskiej nauki. Istnieje ogromne ryzyko, że obraz ten zostanie w co najmniej równym, a może nawet większym stopniu zniekształcony w trwającym okresie oceny za lata 2022-2025. Wynika to z faktu, że zasady ewaluacji przewidziane w ustawie z dnia 20 lipca 2018 r. Prawo o szkolnictwie wyższym i nauce (Dz. U. z 2024 r. poz. 1571) nie tylko nie służą realizacji polityki naukowej państwa i rozwojowi polskiej nauki, lecz także stymulują patologie i strategiczne błędy w zarządzaniu uczelniami i jednostkami naukowymi, które wynikają z krótkookresowych, doraźnych korzyści z przyznanej kategorii naukowej.

Ewaluacja została zaprojektowana jako narzędzie służące do podejmowania decyzji o:

• podziale subwencji (jeden ze składników algorytmu),
• uprawnieniach do nadawania stopni naukowych i nostryfikacji dyplomów zagranicznych,
• uprawnieniach do prowadzenia kierunków studiów i szkół doktorskich,
• uprawnieniu uczelni do udziału w konkursie o środki w ramach programu Inicjatywa Doskonałości – Uczelnia Badawcza.

Obecna forma ewaluacji zawiera w sobie zdecydowanie zbyt silny komponent sankcyjny, z czym nie spotykamy się w żadnym innym systemie nauki i szkolnictwa wyższego. Stoi on w sprzeczności ze wskazanym wyżej podstawowym celem ewaluacji, jakim powinno być stymulowanie rozwoju polskich jednostek naukowych w kierunku doskonałości naukowej.

Obawy jednostek naukowych związane ze skutkami obniżenia kategorii powodują niejednokrotnie, zarówno na poziomie zarządzania, jak i indywidualnych zachowań pracowników, podejmowanie działań, które zamiast rozwijać polską naukę, prowadzą do „sztucznych optymalizacji” lub wręcz działań nieetycznych. W efekcie, obecny model ewaluacji – zamiast wspierać rozwój nauki – wymusza podporządkowanie jednostek naukowych rygorom sztywnego systemu oceny, ograniczając przez to autonomię w kształtowaniu własnej polityki naukowej. Groźba utraty kluczowych uprawnień, takich jak np. prawo do nadawania stopni naukowych, albo części subwencji sprawia, że ewaluacja staje się narzędziem sankcji, a nie diagnozy i doskonalenia. Tymczasem jej nadrzędnym celem powinno być identyfikowanie barier rozwoju i ich skuteczne niwelowanie.

Wady obecnego modelu ewaluacji to:

1. Preferowanie dyscyplin naukowych, dla których liczba N, tj. liczba osób prowadzących działalność naukową, jest mała (np. 20 osób) w stosunku do dyscyplin reprezentowanych przez dużą liczbę pracowników (np. 300). Istniejący system jest bardzo niekorzystny dla dużych, wiodących jednostek.
2. Brak uwzględnienia różnic pomiędzy jednostkami typowo badawczymi (jak np. instytuty PAN) a jednostkami o profilu mieszanym (badawczo-dydaktycznym – np. uniwersytety).
3. Zrównanie wymagań wobec pracowników badawczych oraz pracowników badawczo-dydaktycznych, gdy zakresy ich obowiązków są znacząco różne. Na przykład, na Uniwersytecie Jagiellońskim pracownik badawczy realizuje zadania w proporcji: 90% obowiązków badawczych i 10% obowiązków organizacyjnych, a pracownik badawczo-dydaktyczny w proporcji: 45% obowiązków badawczych, 45% obowiązków dydaktycznych i 10% obowiązków organizacyjnych.
4. Podatność systemu na sztuczne optymalizowanie wyników, będąca pochodną jego algorytmicznego charakteru i mechanicznego przeliczania danych, czego przejawem jest:
   • stymulowanie zachowań nieetycznych, nakierowanych na „optymalizację” wskaźników kosztem rzetelności badawczej, czego przykładem jest opisywany ostatnio proceder tzw. paper mills;
   • sprzyjanie tzw. optymalizacji etatowej, czyli „przenoszeniu” niepublikujących nauczycieli akademickich zatrudnionych na stanowiskach badawczych lub badawczo-dydaktycznych na stanowiska dydaktyczne oraz pozostawienie na tych stanowiskach tylko pracowników wykazujących się dużą aktywnością naukową. W konsekwencji w znaczącej części szkół wyższych dochodzi do sytuacji, w której w grupie nauczycieli akademickich osoby zatrudnione na stanowisku badawczym lub badawczo-dydaktycznym stanowią coraz mniejszy odsetek w ogólnej liczbie nauczycieli. Oznacza to, że zajęcia ze studentami prowadzi coraz większa grupa osób, która z czasem przestaje prowadzić działalność naukową, co skutkuje obniżeniem jakości kształcenia;
   • sprzyjanie tzw. optymalizacji dyscyplinowej polegającej na przenoszeniu pracownika między dyscyplinami lub „sztuczne” tworzenie tzw. kategorii dwudyscyplinowców, którego celem jest zwiększenie „zysków” lub zmniejszenie „strat” dla danej dyscypliny. Stosuje się również przypisywanie pracownika do dyscypliny, która w jednostce nie podlega ewaluacji.
5. Deprecjacja roli naturalnych zespołów prowadzących badania w jednej dyscyplinie i premiowanie ich atomizacji. Członkowie takich jednodyscyplinowych zespołów po opublikowaniu swoich badań uzyskują jedynie cząstkowe udziały punktowe. Jednocześnie osoba mająca niewielki wkład merytoryczny, ale z innej dyscypliny, dostaje komplet punktów za publikację.
6. Wadliwe powiązanie wyniku ewaluacji, opartej głównie na ocenie średniej efektywności naukowej pracowników, z prawami poszczególnych rad dyscypliny do nadawania stopni naukowych. Wadliwość ta związana jest m.in. z brakiem bezpośredniego przełożenia oceny wszystkich pracowników w dyscyplinie (liczba N) na kompetencje rady dyscypliny, która składa się zwykle z najbardziej uznanych naukowców w jednostce naukowej.
7. Wykorzystywanie w procesie ewaluacji wykazu czasopism punktowanych, wobec którego podnoszone są liczne, dobrze uzasadnione zastrzeżenia (np. arbitralne zmiany punktacji, włączanie do wykazu czasopism niespełniających kryteriów określonych przepisami prawa, zmiany w wykazie w trakcie okresu ewaluacji).
8. Podtrzymywanie obecności w wykazie czasopism tzw. czasopism drapieżnych, mimo powszechnej i zweryfikowanej wiedzy o nagannych praktykach publikacyjnych w tych periodykach oraz uwzględnianie opublikowanych w nich artykułów w procesie ewaluacji.
9. Nakładanie na nauczycieli akademickich zbędnych obowiązków administracyjnych, jak np. konieczności regularnego składania oświadczeń dotyczących uwzględnienia publikacji w procesie ewaluacji. Równocześnie obowiązek ten może narażać uczelnie na straty, na przykład w sytuacji, gdy publikacja jest wynikiem badań finansowanych przez uczelnię, a odpowiednie oświadczenie nie zostało złożone, choćby ze względu na śmierć lub chorobę pracownika.
10. Znacząca rozbieżność między wynikami ewaluacji a pozycją uczelni w rankingach międzynarodowych, ukazujących nierzadko zupełnie inny obraz jakości działalności naukowej ocenianych w tych rankingach jednostek.
11. Mechaniczne podejście do oceny działalności naukowej skutkujące brakiem premiowania w systemie ewaluacji ponadprzeciętnych osiągnięć, które stanowią dowody doskonałości naukowej, np.: publikacji w najbardziej prestiżowych czasopismach, uzyskania najcenniejszych grantów badawczych (np. ERC, Centra Dioscuri), czy wysokich indeksów cytowań, które „giną” w uśrednionych i ujętych punktowo kryteriach. Efektem slotowego podejścia nie jest ocena doskonałości jednostki, ale jej przeciętności. Prowadzi ono także do demotywowania najlepszych naukowców, których prace mają nieproporcjonalnie mały wpływ na wynik ewaluacji.
12. Stymulowanie „nadprodukcji” publikacji naukowych, co ma konsekwencje w postaci nadmiernego wydatkowania środków publicznych na finansowanie procesu publikacyjnego (szczególnie w przypadku słabych czasopism typu open access). Efekt ten pozostaje w sprzeczności z oczekiwaniem wzrostu udziału publikacji w najlepszych czasopismach w ogóle publikacji jednostki, co jest jednym z celów programu IDUB.
13. Wyjątkowo wysoki koszt procesu ewaluacji, zarówno na poziomie centralnym, jak i jednostki. Wiąże się on w szczególności z podejmowaniem wieloparametrowej optymalizacji wyniku ewaluacji, która jest procesem czaso- i kosztochłonnym, wymuszającym zatrudnianie „ekspertów” od optymalizacji wyniku oraz zakup programów komputerowych służących temu celowi, a nie mającym wiele wspólnego z podnoszeniem jakości badań naukowych.

Biorąc pod uwagę te liczne, niezwykle poważne i powszechnie wskazywane przez środowisko naukowe wady obecnego modelu uważamy, że ewaluacja za lata 2022-2025 przeprowadzona na zasadach obecnie obowiązujących nie daje możliwości rzetelnej oceny jakości działalności naukowej, a zaangażowanie zasobów ludzkich i finansowych w przygotowanie i przeprowadzenie takiej ewaluacji będzie skutkować poniesieniem nieuzasadnionych kosztów. Chcemy też podkreślić, że ujawnione w ostatnich latach patologie, często bezpośrednio powiązane z restrykcyjnym modelem ewaluacji, niezwykle negatywnie wpływają na wizerunek poszczególnych uczelni, jak i całego polskiego systemu nauki i szkolnictwa wyższego. Nie należy powtarzać błędów, które do patologii tych prowadzą.

W związku z tym rekomendujemy:

• Odstąpienie od ewaluacji za lata 2022-2025 i utrzymanie kategorii naukowych przyznanych dyscyplinom w wyniku ewaluacji za lata 2017-2021, pozostawiając możliwość dobrowolnego poddania się ewaluacji na dotychczasowych zasadach jedynie jednostkom naukowym, w których dyscypliny nie posiadają kategorii lub posiadają kategorię niższą niż B+.
• W przypadku braku możliwości odstąpienia od ewaluacji – przeprowadzenie jej według obowiązujących zasad przy pozostawieniu jednostkom gwarancji utrzymania co najmniej dotychczasowych kategorii.
• Niezwłoczne opracowanie, przetestowanie i wdrożenie nowego modelu ewaluacji, motywującego do budowania doskonałości naukowej, umożliwiającego rzetelną i miarodajną ocenę jednostek naukowych i stanowiącego rzeczywiste narzędzie realizacji polityki naukowej państwa.

Ewaluacja za kolejne lata, 2026–2029, winna opierać się na kryteriach eliminujących wady obecnego modelu. Nowy system powinien premiować znaczące osiągnięcia naukowe, mierzone publikacjami w najlepszych czasopismach, prestiżowymi grantami, międzynarodowymi nagrodami oraz spektakularnymi wdrożeniami wyników badań. Konieczne jest również odejście od algorytmu, w którym sukces ewaluowanej jednostki jest traktowany jako suma wyników poszczególnych pracowników. O jakości badań naukowych nie decyduje tak czy inaczej liczona średnia, ale osiągnięcia wybitnych naukowców, prawdziwych liderów, którzy tworzą wokół siebie przestrzenie doskonałości badawczej.

Podsumowując, zmiany w systemie ewaluacji są niezbędne, aby sprostać wyzwaniom współczesnej nauki. Proponowane przez nas rozwiązanie pozwala ustrzec system szkolnictwa wyższego przed przeprowadzeniem kolejnej niesprawiedliwej, promującej przeciętność i generującej patologie ewaluacji. Natomiast wypracowanie w oparciu o dialog środowiskowy i opinie ekspertów założeń nowego modelu, który skutecznie będzie premiował doskonałość i wspierał rozwój polskiej nauki na arenie międzynarodowej, da szansę na budowę bardziej sprawiedliwego i efektywnego systemu oceny jednostek naukowych.

Zachęcamy do zapoznania się z treścią apelu o zaniechanie dalszego prowadzenia ewaluacji na wadliwych zasadach, który 27 stycznia członkowie Konferencji Rektorów Akademickich Uczelni Medycznych wystosowali do ministra nauki i szkolnictwa wyższego dr. inż. Marcina Kulaska, a także publikacją „Ewaluacja nauki w Polsce – krytyka obecnego systemu i propozycje naprawy” , w której o wadach systemu wypowiedzieli się naukowcy wszystkich trzech wydziałów Uniwersytetu Jagiellońskiego – Collegium Medicum.

Załączniki:

• Stanowisko Kolegium Rektorskiego Uniwersytetu Jagiellońskiego w sprawie ewaluacji jakości działalności naukowej
• KRAUM_apel do ministra nauki i szkolnictwa wyższego
• Ewaluacja nauki w Polsce – krytyka obecnego systemu i propozycje naprawy – stanowisko naukowców UJ CM