ChatGPT w artykułach naukowych – kwestia wiarygodności

Treści generowane przez ChatGPT w artykułach naukowych – bezmyślne kopiuj/wklej

Chcielibyśmy poruszyć dzisiaj problem raczej globalny, aniżeli lokalny, który bez wątpienia zasługuje na uwagę. Chodzi mianowicie o wykorzystanie tzw. chatów AI (np. ChatGPT) w pracach i artykułach naukowych. Podstawą do tych rozważań jest artykuł As of my last knowledge update’: How is content generated by ChatGPT infiltrating scientific papers published in premier journals?, który porusza właśnie problem treści generowanych przez model językowy ChatGPT do recenzowanych artykułów naukowych publikowanych w renomowanych czasopismach. Autor artykułu, Artur Strzelecki (profesor Uniwersytetu Ekonomicznego w Katowicach), analizuje, w jaki sposób można zidentyfikować fragmenty tekstu, które zostały wygenerowane przez ChatGPT, oraz jakie są konsekwencje tego zjawiska dla wiarygodności publikacji naukowych.

Główne wnioski z artykułu wskazują, że w wysoko cenionych czasopismach naukowych pojawiają się artykuły zawierające treści wygenerowane przez modele językowe AI, których użycie nie zostało zadeklarowane przez autorów i które zostały bezmyślnie i nieraz bez analizy skopiowane do tychże artykułów. Wiele z tych artykułów jest już cytowanych w innych pracach naukowych, co wpływa na zaufanie do publikowanych badań. Artykuł podkreśla również, że obecne procesy recenzji i publikacji nie są w pełni wyposażone do wykrywania treści generowanych przez AI, co rodzi obawy o integralność publikacji naukowych.

Metody badawcza SPAR4SLR (SPAR-4-SLR) do identyfikacji artykułów zawierających treści generowane przez ChatGPT

Metoda badawcza SPAR4SLR (Scientific Procedures and Rationales for Systematic Literature Reviews) została zastosowana w celu identyfikacji artykułów zawierających treści generowane przez ChatGPT. SPAR4SLR to strukturalne podejście do przeglądów literatury, które zapewnia przejrzystość i powtarzalność procesu badawczego. Metoda ta została opracowana przez Justina Paula i współpracowników (Weng Marc Lim, Aron O’Cass, Andy Wei Hao, Stefano Bresciani) w 2021 roku i składa się z trzech głównych faz: zbierania, organizowania i oceny.

Faza zbierania

W fazie zbierania, badacze identyfikują i pozyskują artykuły naukowe z baz danych, takich jak Google Scholar, Web of Science i Scopus. W przypadku tego badania, identyfikacja artykułów zawierających treści generowane przez ChatGPT polegała na wyszukiwaniu specyficznych fraz, które są charakterystyczne dla odpowiedzi generowanych przez ChatGPT, takich jak „as of my last knowledge update” czy „I don’t have access to specific data”. Wyszukiwanie odbywało się za pomocą zapytań w Google Scholar, a wyniki były filtrowane w celu wykluczenia publikacji, w których autorzy celowo używali ChatGPT i deklarowali to w swoich pracach.

Faza organizowania

W fazie organizowania, artykuły były kodowane na podstawie różnych kryteriów, takich jak tytuły czasopism, nazwy wydawców, metryki z baz danych naukowych oraz liczba cytowań. Proces kodowania pozwalał na uporządkowanie artykułów i przygotowanie ich do dalszej analizy.

Faza oceny

W fazie oceny, artykuły były klasyfikowane według głównych dziedzin naukowych, takich jak medycyna, informatyka, inżynieria, nauki o środowisku, socjologia, edukacja i zarządzanie. Analiza obejmowała również ocenę reakcji wydawców na artykuły zawierające treści generowane przez AI oraz działania podjęte w celu poprawy polityk publikacyjnych.

Metoda SPAR4SLR pozwoliła na systematyczne i dokładne przeanalizowanie artykułów naukowych, identyfikację treści generowanych przez ChatGPT oraz ocenę wpływu tego zjawiska na wiarygodność publikacji naukowych.

Wyniki badania, liczba zidentyfikowanych artykułów, ich dziedzin naukowych oraz statusu publikacji

Wyniki badania przedstawione w artykule „‘As of my last knowledge update’: How is content generated by ChatGPT infiltrating scientific papers published in premier journals?” wskazują na istotny problem stosowania treści generowanych przez ChatGPT w recenzowanych artykułach naukowych. Badanie zidentyfikowało łącznie 1362 artykuły naukowe, w których zawarto fragmenty tekstu wygenerowane przez ChatGPT. Większość z tych artykułów została opublikowana w czasopismach, które nie są indeksowane w renomowanych bazach danych naukowych, takich jak Web of Science i Scopus. Jednakże, część zidentyfikowanych artykułów pochodzi z czasopism publikowanych przez uznanych wydawców, takich jak Elsevier, Springer, Wiley i Sage, i posiadających wskaźniki jakości, takie jak Impact Factor i CiteScore.

Analiza wykazała, że 89 artykułów zostało opublikowanych w czasopismach indeksowanych w bazach danych naukowych, takich jak Web of Science i Scopus. Spośród tych artykułów, 28 zostało opublikowanych w czasopismach o percentylach Scopus wynoszących 90 i więcej, co oznacza, że są to czasopisma z najwyższej półki w swoich dziedzinach. Dwa czasopisma mają percentyl 99, co wskazuje, że są to najlepsze czasopisma w swoich kategoriach. W sumie 64 artykuły zostały opublikowane w czasopismach uznawanych za Q1, czyli należących do grupy najlepszych czasopism w swoich dziedzinach. 25 artykułów znajduje się w przedziale percentylowym między 50 a 75, co oznacza, że czasopisma, w których te artykuły się znajdują, należą do Q2.

Generowane artykuły są cytowane

Analiza liczby cytowań wykazała, że 60 artykułów zostało już cytowanych, a łączna liczba cytowań wynosi 528. Jeden artykuł otrzymał ponad 60 cytowań, sześć artykułów otrzymało od 20 do 40 cytowań, a 41 artykułów otrzymało jedno lub więcej cytowań, ale mniej niż 10. Status tych cytowań został sprawdzony na dzień 30 września 2024 roku.

Artykuły zostały również sklasyfikowane według głównych dziedzin naukowych, do których należą. W wyniku analizy 89 artykułów, 19 z nich zostało sklasyfikowanych jako należące do dziedziny medycyny, 17 do informatyki, 16 do inżynierii, 10 do nauk o środowisku, 7 do socjologii, edukacji i zarządzania, a 6 do ekonomii.

Wyniki badania wskazują na rosnący problem z publikowaniem treści generowanych przez ChatGPT w renomowanych czasopismach naukowych, co może negatywnie wpływać na zaufanie do publikowanych badań.

Analiza konsekwencji stosowania treści generowanych przez AI dla wiarygodności publikacji naukowych oraz propozycje działań mających na celu poprawę procesów publikacyjnych

Wykorzystanie treści generowanych przez AI może prowadzić do poważnych problemów związanych z zaufaniem do publikowanych badań. W artykule wskazano, że treści generowane przez ChatGPT pojawiają się w recenzowanych artykułach naukowych bez odpowiedniego oznaczenia, co może wprowadzać w błąd czytelników i recenzentów. W rezultacie, artykuły zawierające takie treści mogą być cytowane przez inne prace naukowe, co prowadzi do dalszego rozpowszechniania potencjalnie nieprawdziwych informacji.

Konsekwencje infiltracji treści generowanych przez AI obejmują:

1. Utrata zaufania do publikacji naukowych: Jeśli czytelnicy i recenzenci odkryją, że artykuły zawierają treści generowane przez AI bez odpowiedniego oznaczenia, może to prowadzić do utraty zaufania do czasopism naukowych i ich wydawców.
2. Rozpowszechnianie nieprawdziwych informacji: Treści generowane przez AI mogą zawierać błędy lub nieścisłości, które mogą być trudne do wykrycia. Jeśli takie treści zostaną opublikowane i zacytowane przez inne prace, mogą prowadzić do rozpowszechniania nieprawdziwych informacji w literaturze naukowej.
3. Problemy z identyfikacją treści generowanych przez AI: Obecne procesy recenzji i publikacji nie są w pełni wyposażone do wykrywania treści generowanych przez AI, co utrudnia identyfikację i eliminację takich treści z publikacji naukowych.

Aby poprawić procesy publikacyjne i zwiększyć wiarygodność publikacji naukowych, autor artykułu proponuje kilka działań:

1. Wprowadzenie obowiązkowego oznaczania treści generowanych przez AI: Autorzy powinni być zobowiązani do deklarowania użycia narzędzi AI, takich jak ChatGPT, w swoich pracach. Wydawcy powinni wprowadzić jasne wytyczne dotyczące oznaczania treści generowanych przez AI.
2. Szkolenie recenzentów i redaktorów: Recenzenci i redaktorzy powinni być szkoleni w zakresie identyfikacji treści generowanych przez AI oraz weryfikacji ich autentyczności. Wydawcy powinni również wprowadzić narzędzia do automatycznego wykrywania treści generowanych przez AI.
3. Zwiększenie transparentności procesów publikacyjnych: Wydawcy powinni dążyć do większej transparentności w procesach publikacyjnych, w tym do ujawniania informacji o użyciu narzędzi AI w artykułach naukowych. Powinno to obejmować zarówno deklaracje autorów, jak i informacje o narzędziach używanych do weryfikacji treści.
4. Wprowadzenie rygorystycznych procedur recenzji: Procesy recenzji powinny być bardziej rygorystyczne, aby zapewnić, że treści generowane przez AI są odpowiednio weryfikowane i oznaczane. Wydawcy powinni również wprowadzić dodatkowe etapy recenzji, które skupiają się na identyfikacji treści generowanych przez AI.

Analizowany artykuł podkreśla konieczność wprowadzenia zmian w procesach publikacyjnych, aby zapewnić wiarygodność publikacji naukowych i zapobiec infiltracji treści generowanych przez AI. Wprowadzenie obowiązkowego oznaczania treści generowanych przez AI, szkolenie recenzentów i redaktorów, zwiększenie transparentności procesów publikacyjnych oraz wprowadzenie rygorystycznych procedur recenzji to kluczowe kroki, które mogą przyczynić się do poprawy jakości publikacji naukowych.