W ramach projektu badawczego, rozpoczętego w 2023 roku pod kierunkiem Vincenzo Guastafierro z Instytutu Klinicznego i Uniwersytetu Humanitas w Rozzano koło Mediolanu przeanalizowano odpowiedzi dostarczone przez ChatGPT w 200 przypadkach klinicznych dotyczących różnych specjalizacji lekarskich.
Każdy z przedstawionych narzędziom sztucznej inteligencji wymyślonych przypadków powstał w ścisłej współpracy ze specjalistami medycyny i zgodnie z najnowszymi wskazówkami diagnostycznymi.
Stwierdzono błędne odpowiedzi w blisko 70 proc. przypadków, a także niedokładne odwołania do źródeł lub wręcz całkowicie wymyślone w 30 proc.
ChatGPT udzielił częściowo przydatnych odpowiedzi w 62 proc. przypadków, ale wolnych od błędów było tylko 32 procent.
Jakie błędy popełnia AI w medycynie?
Wśród najpoważniejszych błędów była niewłaściwa diagnoza dotycząca raka skóry oraz pomylenie dwóch różnych rodzajów nowotworu piersi. Cytowano przy tym nieistniejące źródła medyczne.
Jak zaznaczył Vincenzo Guastafierro, cytowany przez dziennik "Il Messaggero", rezultaty te pokazują, jak bardzo konieczna jest ostrożność przy wykorzystywaniu AI na polu medycyny, bo pomyłki w diagnozie, które wykryto, mogłyby mieć poważne konsekwencje.
– Oko kliniczne lekarza pozostaje niezastąpione. AI musi być uważana za wsparcie, ale nie za zamiennik kompetencji człowieka - zaznaczył.
Wyniki badań opublikowano na łamach specjalistycznego pisma "European Journal of Pathology".
Z Rzymu Sylwia Wysocka(PAP)
