Nowe badanie BBC: Asystenci AI robią w newsach aż 45 proc. błędów. Wiadomo, kto wypadł najgorzej

W badaniu wzięły udział 22 organizacje medialne z 18 krajów, pracujące w 14 różnych językach. W ramach badania przeanalizowano ponad 3 tys. odpowiedzi czterech wiodących asystentów AI: ChatGPT, Copilot, Gemini i Perplexity.

Profesjonalni dziennikarze tych organizacji oceniali odpowiedzi pod kątem dokładności (accuracy), stosowania źródeł (sourcing), zdolności oddzielenia faktów od opinii oraz dostarczania kontekstu.

Wyniki badania wskazują poważne i systemowe problemy. Prawie połowa (45 procent) wszystkich analizowanych odpowiedzi zawierało przynajmniej jeden istotny błąd.

Wszelkiego rodzaju błędy stwierdzono w aż 81 proc. odpowiedzi. Źle wykorzystane lub błędne źródła wystąpiły w około 31 proc. odpowiedzi. Ponadto 20 proc. odpowiedzi miało znaczące problemy z dokładnością, w tym zawierało informacje przestarzałe lub zmyślone (halucynacje).

Najwięcej problemów miał Gemini – dotyczyły one w głównej mierze błędów w przypisywaniu źródeł. Aż w 76 proc. odpowiedzi były istotne błędy, czyli ponad dwukrotnie więcej niż inni asystenci, głównie z powodu słabej jakości podawanych źródeł.

Badanie wskazuje, że sytuacja nie ogranicza się do jednego języka czy kraju. Ma charakter międzynarodowy i wielojęzyczny.

Autorzy podkreślają, że tego rodzaju wyniki stanowią zagrożenie dla zaufania publicznego do mediów. W ich opinii, jeżeli odbiorcy nie będą wiedzieć, komu lub czemu mogą ufać, skończą na nieufności wobec wszystkiego, co może prowadzić do spadku uczestnictwa w systemie demokratycznym.

Według autorów, ponieważ coraz więcej osób zaczyna korzystać z asystentów AI jako źródła wiadomości, konieczne są pilne działania ze strony dostawców tych technologii – w tym poprawa jakości odpowiedzi, transparentność co do źródeł i wyraźne rozgraniczanie faktów i opinii.