Fałszywe „prace naukowe” są alarmująco powszechne.

9 May 2023

fake-scientific-papers-are-alarmingly-common

[…Ale nowe narzędzia obiecująco radzą sobie z rosnącymi symptomami akademickiej kultury “publikuj albo giń”]

[Na podst.: (https://doprawdy.info/2023/05/falszywe-prace-naukowe-sa-alarmujaco-powszechne-science/) ] [Wersja tej historii ukazała się w Science, Vol 380]

======================

Kiedy neuropsycholog Bernhard Sabel uruchomił swój nowy wykrywacz fałszywych dokumentów, był zszokowany tym, co znalazł. Po sprawdzeniu około 5000 artykułów szacuje, że do 34% artykułów z dziedziny neuronauki opublikowanych w 2020 r. zostało prawdopodobnie zmyślonych lub splagiatowanych; w medycynie liczba ta wyniosła 24%.

Obie liczby, które on i współpracownicy podają w preprintach medRxiv opublikowanych 8 maja, znacznie przekraczają poziomy obliczone dla 2010 r. – i są znacznie większe niż 2% wartości bazowej oszacowanej w raporcie grupy wydawców z 2022 r.

“Na początku po prostu trudno w to uwierzyć”, mówi Sabel z Uniwersytetu Otto von Guericke w Magdeburgu i redaktor naczelny Restorative Neurology and Neuroscience. To tak, jakby “ktoś powiedział ci, że 30% tego, co jesz, jest toksyczne”.

Jego odkrycia podkreślają to, co powszechnie podejrzewano: Czasopisma zalewa rosnąca fala manuskryptów naukowych z fabryk publikacji– tajnych firm, które pozwalają badaczom fałszować swoje publikacje, płacąc za fałszywe artykuły lub niezasłużone autorstwo.

“Fabrykipublikacji’ zbijają fortuny, atakując system, który nie miał pojęcia, jak sobie z tym poradzić” – mówi Dorothy Bishop, psycholog z Uniwersytetu Oksfordzkiego, która bada nieuczciwe praktyki wydawnicze. Komunikat wydawnictwa Hindawi z 2 maja podkreślił to zagrożenie: wydawnictwo zamknęło cztery ze swoich czasopism, w których stwierdzono “poważne zagrożenie” artykułami pochodzącymi z fabrykipublikacji.

Narzędzie Sabela opiera się na zaledwie dwóch wskaźnikach – autorach korzystających z prywatnych, nieinstytucjonalnych adresów e-mail oraz tych, którzy wymieniają powiązania ze szpitalami. Nie jest to idealne rozwiązanie ze względu na wysoki wskaźnik wyników fałszywie dodatnich. Inni twórcy wykrywaczy fałszywych dokumentów, którzy często ujawniają niewiele na temat działania swoich narzędzi, borykają się z podobnymi problemami.

Mimo to detektory budzą nadzieję na uzyskanie przewagi nad fabrykamipublikacji, które produkują fałszywe manuskrypty zawierające tekst, dane i obrazy częściowo lub całkowicie splagiatowane lub sfabrykowane, często masowane przez ghost writerów [„murzynów”]. Niektóre artykuły są zatwierdzane przez nieuczciwych recenzentów, o których zabiegają autorzy. Takie manuskrypty grożą zepsuciem literatury naukowej, wprowadzając czytelników w błąd i potencjalnie zniekształcając systematyczne przeglądy. Niedawne pojawienie się narzędzi sztucznej inteligencji, takich jak ChatGPT, zwiększyło obawy.

Aby temu przeciwdziałać, Międzynarodowe Stowarzyszenie Wydawców Naukowych, Technicznych i Medycznych (STM), reprezentujące 120 wydawców, prowadzi działania o nazwie Integrity Hub w celu opracowania nowych narzędzi. STM nie ujawnia zbyt wiele na temat metod wykrywania, aby nie zdradzić fabryk publikacji. “To trochę wyścig zbrojeń” – mówi Joris van Rossum, dyrektor ds. produktów w Integrity Hub. Stwierdził on, że jedną z wiarygodnych oznak fałszerstwa jest odwoływanie się do wielu wycofanych artykułów; inna obejmuje manuskrypty i recenzje wysyłane pocztą elektroniczną z adresów internetowych spreparowanych tak, aby wyglądały jak te z legalnych instytucji.

============

Dwudziestu wydawców – w tym najwięksi, tacy jak Elsevier, Springer Nature i Wiley – pomaga w opracowywaniu narzędzi Integrity Hub, a 10 z nich ma korzystać z detektora fabryk publikacji, który grupa zaprezentowała w kwietniu. STM spodziewa się również, że w tym roku uruchomi pilotażowo osobne narzędzie wykrywające manuskrypty wysyłane jednocześnie do więcej niż jednego czasopisma, co jest praktyką uważaną za nieetyczną i oznaką, że mogą one pochodzić z fabryk publikacji. Jak mówi van Rossum, taka współpraca na dużą skalę ma na celu ulepszenie tego, co wydawcy robili indywidualnie i dzielenie się narzędziami w całej branży wydawniczej.

“To nigdy nie będzie [w pełni] zautomatyzowany proces” – mówi. Narzędzia te są raczej jak “filtr antyspamowy… nadal chcesz używać filtr antyspamowy co tydzień”, aby sprawdzić, czy nie zostały błędnie oznaczone legalne treści.

STM nie wygenerował jeszcze danych liczbowych dotyczących dokładności lub wskaźników fałszywie dodatnich, ponieważ projekt jest zbyt nowy. Jednak wyłapywanie jak największej liczby podróbek zazwyczaj prowadzi do większej liczby fałszywych alarmów.

Narzędzie Sabela poprawnie oznaczyło prawie 90% fałszywych lub wycofanych artykułów w próbce testowej. Jednak do 44% prawdziwych artykułów zostało oznaczonych jako fałszywe, więc wyniki nadal wymagają potwierdzenia przez wykwalifikowanych recenzentów. Jak mówi Adam Day, dyrektor założyciel startupu o nazwie Clear Skies, który konsultował się z STM w sprawie Integrity Hub, inne wykrywacze fałszerstw fabryk publikacji mają zazwyczaj podobny wynik. Jednak bez polegania w pewnym stopniu na zautomatyzowanych metodach, “albo musisz wyrywkowo sprawdzać, albo wykorzystujesz własne ludzkie uprzedzenia, aby wybrać, co należy sprawdzić. A to generalnie nie jest zbyt sprawiedliwe”.

Sprawdzanie podejrzanych artykułów może być czasochłonne: W 2021 r. przegląd publikacji przez Springer Nature zawierał około 3000 artykułów, co do których istniało podejrzenie, że pochodzą z fabryk publikacji, wymagał do 10 pracowników, powiedział Chris Graf, dyrektor firmy ds. rzetelności badań, podczas przesłuchania podkomisji Izby Reprezentantów Stanów Zjednoczonych w sprawie fabryk publikacji w lipcu 2022 r. (Springer Nature publikuje około 400 000 artykułów rocznie).

Nowo zaktualizowane wytyczne dla czasopism wydane w kwietniu mogą pomóc zmniejszyć obciążenie pracą. Mogą one podjąć decyzję o odrzuceniu lub wycofaniu partii artykułów, co do których istnieje podejrzenie, że zostały wyprodukowane przez fabrykę publikacji, nawet jeśli dowody są poszlakowe, mówi organizacja non-profit Committee on Publication Ethics, która jest finansowana przez wydawców. Jej poprzednie wytyczne zachęcały czasopisma do zwracania się do autorów każdego podejrzanego artykułu z prośbą o dodatkowe informacje, co może skutkować długotrwałą korespondencją zwrotną.

Niektórzy obserwatorzy zastanawiają się, czy czasopisma wywiążą się ze swoich obietnic. Wydawcy korzystający ze otwartego dostępu – w ramach którego czasopisma pobierają opłatę od autorów za udostępnienie ich artykułów do czytania natychmiast po ich opublikowaniu – mają finansową motywację do publikowania większej, a nie mniejszej liczby artykułów. Mają “ogromny konflikt interesów” w odniesieniu do fabryk publikacji, mówi Jennifer Byrne z Uniwersytetu w Sydney, która badała, w jaki sposób fabryki publikacji fałszowały dane dotyczące genetyki raka.

Przeszkodą jest również presja “publikuj albo zgiń”, jaką instytucje wywierają na naukowców. “Chcemy zastanowić się nad współpracą z instytucjami w celu wyeliminowania być może niektórych [zawodowych] zachęt, które mogą mieć te szkodliwe skutki” – mówi van Rossum. Sabel dodaje, że takie naciski mogą skłonić klinicystów bez doświadczenia badawczego do zwrócenia się w stronę fabryk publikacji, dlatego też przynależność do szpitala może być sygnałem ostrzegawczym.

Day widzi jednak pewną nadzieję: Oznaczanie czasopism podejrzanych o to, że są celem fabryk publikacji, może szybko zniechęcić do składania kolejnych nieuczciwych zgłoszeń. Wskazuje on na swoją analizę czasopism, które Chińska Akademia Nauk (CAS) umieściła na publicznej liście z powodu podejrzeń, że zawierały one artykuły z fabryk publikacji. Opracowany przez jego firmę wykrywacz Papermill Alarm wykazał, że przed opublikowaniem listy CAS podejrzane artykuły stanowiły większość treści niektórych czasopism; później odsetek ten spadł prawie do zera w ciągu kilku miesięcy (patrz wykres). (Papermill Alarm flaguje potencjalnie nieuczciwe artykuły w oparciu o charakterystyczne wzorce ujawniane, gdy fabryka publikacji wielokrotnie przesyła dokumenty; firma nie ujawnia publicznie, jakie są te znaki).

Niektórzy obserwatorzy obawiają się, że artykuły z fabryk publikacji będą po prostu migrować do czasopism o niższym poziomie oddziaływania, które będą dysponować mniejszymi zasobami do ich wykrywania. Wyłapywanie każdego fałszywego artykułu nie jest konieczne, mówi Day. “Chodzi o stosowanie praktyk, które są odporne na ich model biznesowy”.

Ograniczenie działalności fabryk publikacji

Po tym, jak w raporcie z 2020 r. wymieniono czasopisma, co do których istniało podejrzenie, że zawierają artykuły z fabryk publikacji, analiza przeprowadzona przy użyciu automatycznego wykrywacza Papermill Alarm wykazała, że liczba takich artykułów w jednym z tych czasopism (którego nazwa nie została podana w analizie) szybko i gwałtownie spadła. Kolumny pokazują liczbę artykułów w poszczególnych miesiącach.