Firma badawcza Gracenote przeanalizowała działanie nieugruntowanego dużego modelu językowego na próbie 2600 filmów i seriali pochodzących z 13 krajów, m.in. ze Stanów Zjednoczonych, Wielkiej Brytanii, Francji, Niemiec, Japonii, Korei Południowej, Australii i Brazylii.
Model odpowiadał na pytania dotyczące poszczególnych produkcji, a uzyskane informacje porównano z metadanymi znajdującymi się w bazie Gracenote. Analiza obejmowała m.in. tytuły, opisy fabuły, obsadę, gatunki, rok premiery oraz czas trwania.
Niemal 20 proc. odpowiedzi było całkowicie nieprawdziwych
Najważniejszym wnioskiem z badania jest skala tzw. halucynacji modeli językowych.
Spośród 2600 analizowanych tytułów aż 506 zostało opisanych całkowicie błędnie. Oznacza to, że model nie pomylił pojedynczych informacji, ale stworzył nieprawdziwe opisy obejmujące niemal wszystkie analizowane elementy – od fabuły i gatunku po obsadę oraz datę premiery.
Według autorów badania pokazuje to, że model w wielu przypadkach nie dysponował wiedzą o danej produkcji, lecz próbował wygenerować odpowiedź na podstawie statystycznych podobieństw między słowami i tytułami.
Największe problemy dotyczyły nowych filmów i seriali
Badanie wykazało, że nieugruntowany model najgorzej radził sobie z najnowszymi produkcjami.
Szczególnie często błędy pojawiały się w przypadku filmów i seriali, które miały premiery w ciągu ostatnich dwóch lat. Model niejednokrotnie tworzył opisy nieodpowiadające rzeczywistym produkcjom lub przypisywał im informacje pochodzące z innych tytułów.
Autorzy wskazują, że jest to konsekwencja korzystania wyłącznie z danych wykorzystanych podczas treningu modelu, bez dostępu do aktualizowanych baz informacji.
Badacze zauważyli również, że modele językowe mają problem z rozróżnianiem produkcji o podobnych nazwach.
W jednym z przykładów model poprawnie rozpoznał tytuł filmu "Heel" z 2025 r., jednak opis fabuły, gatunek i obsadę zaczerpnął z serialu "Heels". W innym przypadku połączył informacje dotyczące horroru "Trucker" z 2024 r. z filmem o tym samym tytule z 2008 r.
Według autorów pokazuje to, że model często opiera odpowiedzi na podobieństwie nazw, zamiast identyfikować konkretną produkcję.
Błędy dotyczyły także znanych produkcji
Problemy nie ograniczały się wyłącznie do nowych tytułów. Gracenote sprawdziło również poprawność informacji o stu najpopularniejszych amerykańskich filmach. W przypadku pytania o głównego aktora model udzielił poprawnej odpowiedzi jedynie w 53 proc. przypadków. Oznacza to, że niemal co druga odpowiedź zawierała błędne informacje o obsadzie.
Autorzy ocenili wszystkie odpowiedzi modelu pod względem jakości, dzieląc je na cztery kategorie: zerową, niską, średnią i wysoką.
W większości badanych krajów odpowiedzi zakwalifikowane jako wysokiej jakości stanowiły mniejszość. Zdecydowaną większość stanowiły odpowiedzi ocenione jako zerowe, niskie lub średnie, co – zdaniem autorów – pokazuje, że sam model językowy nie zapewnia wystarczającej wiarygodności przy wyszukiwaniu treści filmowych i serialowych.
Zdaniem autorów badania generatywna sztuczna inteligencja może ułatwiać wyszukiwanie filmów i seriali, jednak tylko wtedy, gdy jest połączona z aktualnymi i zweryfikowanymi bazami danych. Sam model językowy, pozbawiony dostępu do takich informacji, zbyt często tworzy błędne lub całkowicie fikcyjne odpowiedzi, co może prowadzić do nieprawidłowych rekomendacji i utrudniać użytkownikom odnalezienie właściwych treści.
