Obserwowany od pewnego czasu wzrost popularności narzędzi AI takich jak ChatGPT dotyczy także społeczności naukowej oraz przygotowywanych przez jej członków publikacji. Ponieważ sztuczna inteligencja jest coraz bardziej zaawansowana w naśladowaniu ludzkiego języka, redaktorzy czasopism naukowych mają coraz większe problemy z odróżnieniem prac przygotowanych przez ludzi i tych, które wygenerowano przy użyciu AI.
Prestiżowe wydawnictwa, takie jak „Science” czy „Nature”, próbowały ograniczyć lub zakazać stosowania sztucznej inteligencji w nadsyłanych do swoich redakcji artykułach, jednak okazało się to niemożliwe do wyegzekwowania ze względu na duże trudności w wykrywaniu języka generowanego maszynowo.
Analiza sztucznej inteligencji w tekstach naukowych
Badacze z Uniwersytetu w Chicago (USA) postanowili określić skalę tego problemu. Sprawdzili, jak często autorzy korzystają ze sztucznej inteligencji i jak efektywnie może ona tworzyć przekonujące artykuły naukowe. Za pomocą kilku komercyjnych detektorów treści AI ocenili teksty z ponad 15 tys. abstraktów przygotowanych na doroczne spotkania Amerykańskiego Towarzystwa Onkologii Klinicznej odbywające się w latach 2021-2023.
Okazało się, że w 2023 r. było około dwukrotnie więcej abstraktów zawierających treści wygenerowane przez sztuczną inteligencję niż w latach 2021 i 2022, co - zdaniem autorów - stanowi bardzo wyraźny sygnał, że naukowcy coraz chętnie wykorzystują narzędzia AI w swoich publikacjach.
Co znamienne, użyte w badaniu detektory treści znacznie lepiej odróżniały teksty generowane przez starsze wersje chatbotów od tekstów ludzkich; zdecydowanie gorzej radziły sobie z artykułami przygotowanymi przez nowsze modele językowe lub z takimi, które zwierały zarówno fragmenty napisane przez człowieka, jak i te wygenerowane przez AI.
Ponieważ w nadchodzących latach wykorzystanie sztucznej inteligencji w pismach naukowych prawdopodobnie wzrośnie, a modele językowe będą coraz doskonalsze, autorzy omawianej publikacji ostrzegają, że kluczowe i pilne staje się wprowadzenie odpowiednich zabezpieczeń. Powinny one chronić nie tylko przed niedozwolonymi praktykami, ale także gwarantować, że w pracach naukowych będą uwzględniane wyłącznie informacje zgodne z faktami. Jest to szczególnie istotne, ponieważ modele AI mają skłonność do używania brzmiących wiarygodnie, choć niepoprawnych stwierdzeń.
Naukowcy z Chicago doszli również do wniosku, że chociaż detektory treści AI nigdy nie osiągną idealnej dokładności, można je wykorzystać jako narzędzie przesiewowe wskazujące, które treści wymagają dodatkowej kontroli ze strony recenzentów. Jednak ich zdaniem narzędzia takie nie powinny być wykorzystywane jako jedyny sposób oceny treści AI w czasopismach naukowych.
