W badaniu wzięły udział 22 organizacje medialne z 18 krajów, pracujące w 14 różnych językach. W ramach badania przeanalizowano ponad 3 tys. odpowiedzi czterech wiodących asystentów AI: ChatGPT, Copilot, Gemini i Perplexity.
Profesjonalni dziennikarze tych organizacji oceniali odpowiedzi pod kątem dokładności (accuracy), stosowania źródeł (sourcing), zdolności oddzielenia faktów od opinii oraz dostarczania kontekstu.
Asystenci AI przeinaczają treści informacyjne w 45 proc. przypadków
Wyniki badania wskazują poważne i systemowe problemy. Prawie połowa (45 procent) wszystkich analizowanych odpowiedzi zawierało przynajmniej jeden istotny błąd.
Wszelkiego rodzaju błędy stwierdzono w aż 81 proc. odpowiedzi. Źle wykorzystane lub błędne źródła wystąpiły w około 31 proc. odpowiedzi. Ponadto 20 proc. odpowiedzi miało znaczące problemy z dokładnością, w tym zawierało informacje przestarzałe lub zmyślone (halucynacje).
Najwięcej problemów miał Gemini – dotyczyły one w głównej mierze błędów w przypisywaniu źródeł. Aż w 76 proc. odpowiedzi były istotne błędy, czyli ponad dwukrotnie więcej niż inni asystenci, głównie z powodu słabej jakości podawanych źródeł.
Badanie wskazuje, że sytuacja nie ogranicza się do jednego języka czy kraju. Ma charakter międzynarodowy i wielojęzyczny.
Autorzy podkreślają, że tego rodzaju wyniki stanowią zagrożenie dla zaufania publicznego do mediów. W ich opinii, jeżeli odbiorcy nie będą wiedzieć, komu lub czemu mogą ufać, skończą na nieufności wobec wszystkiego, co może prowadzić do spadku uczestnictwa w systemie demokratycznym.
Według autorów, ponieważ coraz więcej osób zaczyna korzystać z asystentów AI jako źródła wiadomości, konieczne są pilne działania ze strony dostawców tych technologii – w tym poprawa jakości odpowiedzi, transparentność co do źródeł i wyraźne rozgraniczanie faktów i opinii.
