Wersja kontrastowa

Ewaluacja – jaka jest, jaka być powinna

Prof. Bogumiła Kaniewska. Fot. Adrian Wykrota
Prof. Bogumiła Kaniewska. Fot. Adrian Wykrota
Prof. Bogumiła Kaniewska

 

 

Rok 2026 to rok ewaluacji działalności naukowej. Wiemy już, że odbędzie się ona na starych zasadach, nie będzie też zmieniana lista czasopism, czekamy jeszcze na ostateczne rozporządzenie dookreślające warunki przyszłorocznej oceny – zakończyły się już konsultacje nad jego projektem.  

 

Przed ewaluacją dyscyplinową 

Wydaje się, że nikt już nie ma wątpliwości, że obowiązujący dziś model ewaluacji powinien przejść do historii wraz z zakończeniem aktualnego okresu oceny. Nikt też nie kwestionuje faktu, że w obowiązującym modelu trzeba jeszcze wprowadzić kilka zmian, które pozwolą na bardziej efektywne przeprowadzenie procesu oceny – zmiany te, postulowane m.in. przez Konferencję Rektorów Akademickich Szkół Polskich, powinny zminimalizować najbardziej szkodliwe skutki dzisiejszego modelu ewaluacji.  

 

Zgodnie z tą propozycją14 marca tego roku Ministerstwo Nauki i Szkolnictwa Wyższego przekazało do konsultacji projekt rozporządzenia Ministra Nauki i Szkolnictwa Wyższego zmieniającego rozporządzenie w sprawie ewaluacji jakości działalności naukowej. Autorzy projektu zaproponowali poprawki, które mają ulepszyć proces ewaluacji, m.in. doprecyzowując sposób oceny trzeciego kryterium („wpływu”), uwzględniając dorobek naukowy doktorantów, precyzując zasady ewaluacji nowych dyscyplin, doceniając także wartość monografii – co niezwykle ważne dla nauk humanistycznych i społecznych. To kroki w dobrym kierunku, wciąż jednak jest ich po prostu zbyt mało. Dlatego podczas konsultacji zwróciliśmy się do Ministerstwa o wprowadzenie kolejnych zmian. Chodzi przecież o to, by uciec jak najdalej od „punktobrania”, które niewiele ma wspólnego z działalnością naukową, za to wiele ze zbieraniem punktów na wzór jesiennego zbierania grzybów... Proces oceny musi być wolny od manipulacji, a jego wyniki muszą składać się na adekwatny, niewypaczony obraz naukowej rzeczywistości. Aktualny model ewaluacji, nawet udoskonalony, jest już jednak skompromitowany i w powszechnym odczuciu: niewydolny. Bardzo wyraźnie pokazała to dyskusja dotycząca propozycji odstąpienia od ewaluacji lub przesunięcia jej w czasie o kolejny rok. Dlaczego z ewaluacji nie zrezygnowano, mimo racjonalnych i ważnych argumentów? Przeważyły względy prawne: rezygnacja z oceny wymagałaby zmiany ustawy Prawo o nauce i szkolnictwie wyższym, natomiast przedłużenie okresu ewaluacji skazałoby środowisko naukowe na kolejny rok obowiązywania starych przepisów. Z tych względów Konferencja Rektorów Akademickich Szkół Polskich zaapelowała o kolejne rozwiązania, rozpoczynając od postulatu, by „wynik ewaluacji za lata 2022-2025 nie wpływał w kolejnych latach na wysokość określanej algorytmem subwencji, nie ograniczał uprawnień do prowadzenia studiów, szkół doktorskich, postępowań awansowych czy możliwości aplikowania o status uczelni badawczej”. Celem ostatniej ewaluacji w dotychczasowym kształcie byłoby zatem pokazanie stanu polskiej nauki, jednak ze względu na nieprecyzyjność jej wyników powinny one posłużyć wyłącznie jako informacja, możliwie najmniej zafałszowana czy zniekształcona. Zniesienie sankcyjności to niejedyna zmiana, o jaką się dopominamy. Trzeba oddzielić ocenę uczelni od oceny instytutów badawczych i instytutów Polskiej Akademii Nauk. KRASP proponuje, by Komitet Ewaluacji Nauki przyjął różne jednostki referencyjne dla różnych instytucji naukowych. Pracownicy uczelni są przecież zobowiązani nie tylko do pracy naukowej, wykonują także czasochłonne i angażujące obowiązki dydaktyczne, nie mniej ważne w perspektywie społecznej. Porównywanie ich na tej samej płaszczyźnie z naukowcami, którzy cały swój czas mogą poświęcić wyłącznie badaniom, z góry skazuje grupę pracowników badawczo-dydaktycznych na gorsze wyniki, a uczelnie – na gorszą pozycję w rankingach ewaluacyjnych. 

 

Za absolutnie niezbędne uważam także wprowadzenie zasady, że stosowana w obliczeniach liczba N jest średnią z czterech lat podlegających ewaluacji (przy czym w przypadku wyodrębnienia nowych dyscyplin ewaluacja obejmuje wyłącznie okres funkcjonowania dyscypliny). Jest to warunek sine qua non, pozwalający uniknąć manipulowania zatrudnieniami i innych form tzw. optymalizacji, fałszującej prawdziwy obraz dyscypliny. To także sposób na uniknięcie sytuacji, w której jednostka zyskująca uprawnienia do nadawania stopni naukowych nie może ich „skonsumować”, bo nie ma dostatecznej liczby przedstawicieli dyscypliny…  

 

Inne wniesione do Ministerstwa propozycje obejmowały takie zmiany, jak: wyłączenie osób przebywających na długotrwałych urlopach nie tylko z ustawowych sankcji, ale również niewliczanie ich do liczby N; zróżnicowanie liczby tzw. slotów między pracownikami zatrudnionymi na różnych rodzajach etatów – badawczych i badawczo-dydaktycznych. Bardzo ważnym postulatem było także wprowadzenie zasady wypełniania pola 3N bez ograniczeń najwyżej punktowanymi publikacjami (za 200 pkt) i dopełniania pola 3N niżej punktowanymi publikacjami, pobieranymi z tzw. slotów. 

 

Nie są to propozycje stworzone ad hoc, na potrzeby projektu rozporządzenia – dyskusja nad sposobem ewaluacji działalności naukowej trwa od lat, podejmowaliśmy ją jeszcze w poprzedniej kadencji i wielokrotnie przekazywaliśmy nasze postulaty i pomysły Ministerstwu. Artykuły, stanowiska, deklaracje, dyskusje na temat oceny nauki różnią się w wielu szczegółach, prezentują rozmaite opinie. Skala różnic ujawniła się choćby podczas wspomnianej burzliwej debaty nad sensem przeprowadzania ewaluacji za lata 2022-2025 – jedni apelowali o rezygnację z oceny, inni o jej przedłużenie, inni wreszcie o kontynuację na niezmienionych zasadach. Niezależnie od przedstawianych stanowisk środowisko akademickie zgadza się w kilku punktach. Po pierwsze: ewaluacji nie da się uniknąć, jest ona niezbędnym i ważnym narzędziem zarządzania nauką. Po drugie: nie istnieje taki model ewaluacji, który zadowoli wszystkich, ani – co więcej – taki, który można uznać za narzędzie doskonałe. Są jednak modele lepsze i gorsze. Chodzi zatem o to, by wypracować taki sposób oceny, który przyniesie obiektywny obraz polskiej nauki, pokazując jej realny potencjał. W związku z tym – po trzecie – ewaluacja po roku 2026 powinna się całkowicie zmienić. 

 

Dlaczego trzeba odejść od aktualnego modelu? Pisano o tym wielokrotnie, wskazując jego liczne wady, wśród których najważniejsze to podatność na manipulacje i stymulowanie działań etycznie wątpliwych. Katalog usterek przedstawiło Kolegium Rektorskie Uniwersytetu Jagiellońskiego w swoim stanowisku1 z dnia 6 lutego tego roku. Przytoczmy je: 

„Wady obecnego modelu ewaluacji to: 

 

- Preferowanie dyscyplin naukowych, dla których liczba N, tj. liczba osób prowadzących działalność naukową, jest mała (np. 20 osób) w stosunku do dyscyplin reprezentowanych przez dużą liczbę pracowników (np. 300) […]. 

 

- Brak uwzględnienia różnic pomiędzy jednostkami typowo badawczymi (jak np. instytuty PAN) a jednostkami o profilu mieszanym (badawczo-dydaktycznym – np. uniwersytety). 

 

- Zrównanie wymagań wobec pracowników badawczych oraz pracowników badawczo-dydaktycznych, gdy zakresy ich obowiązków są znacząco różne […]. 

 

- Podatność systemu na sztuczne optymalizowanie wyników, będąca pochodną jego algorytmicznego charakteru i mechanicznego przeliczania danych, czego przejawem jest:  

  • stymulowanie zachowań nieetycznych, nakierowanych na „optymalizację” wskaźników kosztem rzetelności badawczej, czego przykładem jest opisywany ostatnio proceder tzw. paper mills; 

  • sprzyjanie tzw. optymalizacji etatowej, czyli „przenoszeniu” niepublikujących nauczycieli akademickich zatrudnionych na stanowiskach badawczych lub badawczo-dydaktycznych na stanowiska dydaktyczne oraz pozostawienie na tych stanowiskach tylko pracowników wykazujących się dużą aktywnością naukową […]; 

  • sprzyjanie tzw. optymalizacji dyscyplinowej polegającej na przenoszeniu pracownika między dyscyplinami lub „sztuczne” tworzenie tzw. kategorii dwudyscyplinowców, którego celem jest zwiększenie „zysków” lub zmniejszenie „strat” dla danej dyscypliny […]. 

- Deprecjacja roli naturalnych zespołów prowadzących badania w jednej dyscyplinie i premiowanie ich atomizacji [...]. 

 

- Wadliwe powiązanie wyniku ewaluacji, opartej głównie na ocenie średniej efektywności naukowej pracowników, z prawami poszczególnych rad dyscypliny do nadawania stopni naukowych. Wadliwość ta związana jest m.in. z brakiem bezpośredniego przełożenia oceny wszystkich pracowników w dyscyplinie (liczba N) na kompetencje rady dyscypliny, która składa się zwykle z najbardziej uznanych naukowców w jednostce naukowej. 

 

- Wykorzystywanie w procesie ewaluacji wykazu czasopism punktowanych, wobec którego podnoszone są liczne, dobrze uzasadnione zastrzeżenia […]. 

 

- Podtrzymywanie obecności w wykazie czasopism tzw. czasopism drapieżnych […]. 

 

- Nakładanie na nauczycieli akademickich zbędnych obowiązków administracyjnych, jak np. konieczności regularnego składania oświadczeń dotyczących uwzględnienia publikacji w procesie ewaluacji. Równocześnie obowiązek ten może narażać uczelnie na straty, np. w sytuacji, gdy publikacja jest wynikiem badań finansowanych przez uczelnię, a odpowiednie oświadczenie nie zostało złożone, choćby ze względu na śmierć lub chorobę pracownika. 

 

- Znacząca rozbieżność między wynikami ewaluacji a pozycją uczelni w rankingach międzynarodowych […]. 

 

- Mechaniczne podejście do oceny działalności naukowej skutkujące brakiem premiowania w systemie ewaluacji ponadprzeciętnych osiągnięć, które stanowią dowody doskonałości naukowej, np.: publikacji w najbardziej prestiżowych czasopismach, uzyskania najcenniejszych grantów badawczych (np. ERC, Centra Dioscuri) czy wysokich indeksów cytowań, które „giną” w uśrednionych i ujętych punktowo kryteriach […]. 

 

- Stymulowanie „nadprodukcji” publikacji naukowych, co ma konsekwencje w postaci nadmiernego wydatkowania środków publicznych na finansowanie procesu publikacyjnego (szczególnie w przypadku słabych czasopism typu open access) […]. 

 

- Wyjątkowo wysoki koszt procesu ewaluacji, zarówno na poziomie centralnym, jak i jednostki. Wiąże się on w szczególności z podejmowaniem wieloparametrowej optymalizacji wyniku ewaluacji, która jest procesem czaso- i kosztochłonnym, wymuszającym zatrudnianie „ekspertów” od optymalizacji wyniku oraz zakup programów komputerowych służących temu celowi, a niemających wiele wspólnego z podnoszeniem jakości badań naukowych”. 

 

Co dalej? 

Refleksja nad kształtem nowej ewaluacji powinna rozpocząć się od pytania, jaki jest cel ewaluacji, czemu ma ona służyć. Odpowiedź jest, w moim przekonaniu, dosyć prosta: podstawowym celem ewaluacji jest uzyskanie rzetelnego, niezafałszowanego obrazu polskiej nauki i instytucji naukowych. Informacja taka potrzebna jest każdej uczelni, która powinna planować na jej podstawie kierunki swego rozwoju i podnosić jakość prowadzonych w niej badań. Na poziomie systemowym powinna stanowić podstawę do przyznawania uprawnień. Wreszcie: powinna służyć kształtowaniu polityki naukowej państwa, w tym sposobu podziału środków finansowych. Nie powinna natomiast stanowić listy rankingowej, generującej wyścig o punkty (i ich finansowe oraz prestiżowe konsekwencje). Rankingi, na niedosyt których się raczej nie skarżymy, służą innym celom i te cele ograniczają, czy wręcz uniemożliwiają, ich obiektywizm. 

 

Doświadczenia innych państw, jak Francja czy Szwecja, pokazują, że najbardziej efektywnym modelem ewaluacji jest model ekspercki, który chętnie nazwałabym akredytacyjnym. Przebiega on według schematu znanego z wielu akredytacji:  

 

1/ uczelnia przygotowuje raport samooceny ze ściśle określonymi danymi; 

2/ eksperci oceniają raport i dokonują wizytacji w uczelni; 

3/ zespół ekspercki przygotowuje raport, oceniający pozytywnie lub negatywnie działalność jednostki. 

 

Nietrudno zauważyć, że schemat ten przypomina także model działania Polskiej Komisji Akredytacyjnej, która aktualnie przygotowuje się do wprowadzenia oceny kompleksowej (jednostek), zastępującej czasochłonne ewaluacje kierunkowe. Analogicznie przebiega także np. akredytacja EUA. Przyjęcie podobnego sposobu oceniania jakości działań naukowych byłoby bardzo dobrym krokiem w kierunku objęcia uczelni jedną, kompleksową ewaluacją obejmującą zarówno naukę i kształcenie, jak i tzw. trzecią misję. „Akredytacyjność” modelu instytucjonalnego powinna oznaczać także odejście od parametryzacji – akredytację uczelnia otrzymuje albo jej nie otrzymuje, podobnie powinno być z oceną pozytywną. Jej uzyskanie otwierałoby drogę do uzyskania uprawnień do nadawania stopni naukowych, przyznawanych, na wniosek jednostki, przez Radę Doskonałości Naukowej.  

 

Oczywiście, projekt, o którym piszę, musi być doprecyzowany, przedyskutowany w środowisku naukowym. Nie zakłada on likwidacji dyscyplin, ale odejście od oceny dyscyplinowej na rzecz oceny uczelni. Tak zaprojektowana ewaluacja powinna odbywać się zdecydowanie rzadziej, najlepiej raz na sześć lat (z informacji MNiSW wynika jednak, że będzie to prawdopodobnie cezura pięcioletnia). Kształt raportu samooceny jest oczywiście do ustalenia, choć z perspektywy rektorskiej marzyłby mi się dokument krótki, zawierający określone dane, niekoniecznie wszystkie. Uczelnie, przyglądając się swoim potencjałom, mogłyby raportować największe osiągnięcia, ograniczone wielokrotnością liczby N (2, może 2,5 albo 3?) – uzyskana w ten sposób informacja pozwoliłaby zarządzającym polityką naukową państwa określić silne strony badań w Polsce, ale i te słabe (nieobecne). Ocena dokonywana przez ekspertów (międzynarodowych) nie ograniczałaby się do informacji A+, A czy B, niewiele wnoszącej poza frustracją, ale – poprzez opis – weryfikowałaby samoświadomość uczelni, a tym samym stymulowała jej rozwój.  

 

Czy byłby to model idealny? Z pewnością nie, idealna ewaluacja wydaje się określeniem oksymoronicznym. Ocena ekspercka generuje większe koszty, ale… Przeprowadzana co pięć lub sześć lat i odciążona biurokratycznie (rezygnacja ze slotów, wykazywanie tylko najlepszych osiągnięć w pierwszym kryterium, rozsądny zakres raportu samooceny) oszczędzałaby pracę i czas, realne koszty nie byłyby wówczas wyższe niż przy dzisiejszym modelu. Podnoszą się także głosy pytające o wiarygodność i obiektywność ekspertów – to kwestia wypracowania dobrego systemu ich doboru, a także środowiskowego zaufania. Warto nad nim popracować dla dobra nas wszystkich.  

 

Ekspercka ocena instytucjonalna powinna stać się narzędziem służącym realizacji polityki naukowej państwa, w tym stymulowania rozwoju badań i realizujących je jednostek. Taki system uwalnia od list rankingowych, listy wydawnictw i czasopism (które nie funkcjonują w innych krajach), a przede wszystkim – od niezdrowej rywalizacji prowadzącej do wątpliwych etycznie działań.  

Nauka Ogólnouniwersyteckie

Ten serwis używa plików "cookies" zgodnie z polityką prywatności UAM.

Brak zmiany ustawień przeglądarki oznacza jej akceptację.