Jeśli znana uczelnia awansuje w Rankingu Szanghajskim (ARWU) do wyższej setki, a jej główna konkurentka spada do grupy o sto pozycji niższej, wygląda to sensacyjnie. Ale po bliższym zapoznaniu się ze wskaźnikami rankingu już tak sensacyjnie nie jest – pisze Waldemar Siwiński na łamach najnowszego numeru Forum Akademickiego.
Uniwersytetowi Jagiellońskiemu, bo to on awansował z piątej do czwartej setki w opublikowanej 15 sierpnia tegorocznej edycji ARWU, należą się oczywiście gratulacje, bo „wynik poszedł w świat”. Należy też jednak od razu zaznaczyć, że stało się to za sprawą jednego uczonego, prof. Dariusza Dudka z Collegium Medicum UJ, który znalazł się w tym roku na liście tzw. Higly Cited Researchers (HiCi ), publikowanej corocznie przez Clarivate Analytics (patrz: FA 12/2018). Dzięki temu we wskaźniku HiCi , który uwzględniany jest w Rankingu Szanghajskim z wagą aż 20%, UJ uzyskał w 2019 roku 7,3% (zamiast „0” w roku 2018), co zaowocowało tak imponującym skokiem uczelni w klasyfikacji ogólnej (zmiany w pozostałych wskaźnikach rankingowych UJ były minimalne).
Niefart Uniwersytetu Warszawskiego polega zaś na tym, że z tej samej listy Higly Cited Researchers wypadł w tym roku przedstawiciel UW i we wskaźniku HiCi uczelnia warszawska uzyskała wynik zerowy (wobec 9,6% w roku 2018). W rezultacie (przy minimalnych zmianach w pozostałych wskaźnikach), UW wylądował o prawie sto miejsc niżej.
Nie tylko pozycjami UJ i UW zahuśtał w tym roku Ranking Szanghajski tak mocno. Za sprawą wskaźnika Higly Cited Researchers w pierwszej pięćsetce tegorocznego rankingu aż 97 uczelni (czyli prawie co piąta) zmieniło swoje pozycje co najmniej o 51 miejsc. A to już przestaje być problemem uczelni, tylko staje się raczej problemem rankingu, który wpadł w zastawioną przez siebie pułapkę.
Najczęściej używanym słowem w światowych komentarzach do wyników tegorocznego Rankingu Szanghajskiego jest volatility , czyli zmienność, chwiejność, niestabilność… Wynika to w pierwszym rzędzie z faktu, że o ile na liście Higly Cited Researchers w ubiegłym roku znajdowało się 3538 nazwisk, to w 2019 roku jest tych nazwisk 6078. Efektem niespotykana zmienność na rankingowych listach.
Większość badaczy wymienionych na liście HiCi to „medycy i fizycy”, w Polsce wyłącznie ci pierwsi (łącznie 6 osób – z UJ, WUM, ŚUM, UMWr, CMKP i Centrum Onkologii). To wyjaśnia, dlaczego w tegorocznym Rankingu Szanghajskiego znalazły się Warszawski Uniwersytet Medyczny (701-800) i Śląski Uniwersytet Medyczny (901-1000).
Autorzy z Szanghaju podkreślali przy każdej okazji, że zaletą ich rankingu jest stabilność metodologiczna. Po tegorocznej huśtawce wyników trudno już jednak tę tezę obronić. Jest to ranking prosty w wykonaniu, gdyż korzysta głównie z gotowych, zewnętrznych baz danych. Ale ceną tej „taniości” jest podatność na zmiany wprowadzane przez właścicieli tych baz. Już w edycji 2016 wiele uczelni zostało niemile zaskoczonych, gdy okazało się, że ich pozycja w rankingu znacząco się pogorszyła tylko dlatego, że we wskaźniku HiCi, z wagą 20%, Thomson Reuters (poprzedni właściciel tej bazy) opublikował znacząco mniejszą niż rok wcześniej liczbę nazwisk. Uniwersytet Jagielloński, podobne jak wiele innych uczelni na świecie, odczuł wówczas tę zmianę boleśnie. Na zewnątrz poszedł sygnał, podchwycony ochoczo przez prasę i władze edukacyjne, że uczelnia „pogorszyła się”... W tym roku UJ „polepszył się”. Ale co będzie za rok, w którą stronę wychyli się szanghajska huśtawka?
Problem z Rankingiem Szanghajskim polega na tym, że nie jest to najlepsze narzędzie do pomiaru polskich uczelni, podobnie jak 99% innych uniwersytetów na świecie. Sprawdza się on i jest wiarygodny w zasadzie jedynie w stosunku do wąskiej grupy ok. 200 najbogatszych, najlepiej wyposażonych uczelni z rozbudowanymi programami badawczymi w zakresie dyscyplin ścisłych i medycznych (Science oraz Medicine ). Z racji swojej metodologii – z wbudowanym w nią potężnym „filarem noblowskim” (z wagą aż 30%!) – ranking ten pozwala zadawalająco rozróżniać uczelnie w ramach Top-100, ale dalej odległości pomiędzy nimi są tak małe, że organizatorzy zdecydowali się na publikowanie wyników w grupach po 50 (do 200), a potem nawet w grupach po 100 (do 500). A i tak minimalne nawet przesunięcia w wynikach cząstkowych skutkują często skokowym przesunięciem do innej „setki”.
Mimo tej metodologicznej ułomności rankingu jego autorzy ulegli w tym roku presji, aby rozszerzyć listę publikowanych uczelni do Top-1000 (przed rokiem były jeszcze dwie listy: Top-500 oraz „poczekalnia” obejmująca grupę uczelni aspirujących z przedziału 501-1000). Towarzyszą temu różne zabiegi formalne (np. stosowanie przekształceń nieliniowych dla poszczególnych wskaźników), aby jakoś „rozrzucić” wyniki uczelni na rankingowej skali, ale przy obecnej metodologii efektem końcowym tych zabiegów może być głównie metodologiczna „huśtawka”. Jeśli z powodu braku lub pojawienia się jednego nazwiska na dosyć arbitralnie zestawionej liście uczelnia idzie nawet o 100 pozycji w górę lub w dół, należy być ostrożnym w bezkrytycznym przyjmowaniu wyników takiego rankingu.
Dlatego w analizach rankingowych przygotowywanych przez Fundację Edukacyjną „Perspektywy” w ramach „Interational Visibility Project” (program DIALOG), bierzemy pod uwagę wyniki uczelni bazujące na czterech rankingach globalnych, oprócz ARWU także THE, QS i USNews Global (grupa „Big-4”). Słusznie też robi red. Piotr Kieraciński dokumentując wyniki polskich uczelni w ShanghaiRanking’s Global Rankings of Academic Subjects, bo wprawdzie ranking ten przygotowywany jest przez tę samą ekipę z Szanghaju, ale korzysta z innych baz danych i stosuje inną metodologię. No i lepiej nas tam widać.
Waldemar Siwiński
Tekst w „Forum Akademickim”