Przebadano sto fraz oraz zwrotów zaczerpniętych z memów, bieżących trendów czy gamingu. W szranki z rodzicami stanęły 4 modele AI (GPT-4, Claude, Gemini oraz Llama 3). Okazało się, że tak samo słabo radzą sobie ze zrozumieniem języka młodego pokolenia, a zwłaszcza z pojmowaniem kontekstu oraz rozpoznaniem czy dane określenie jest bezpieczne.
„Let him cook” czy „Let him cook lmaoo”
Dosłowne tłumaczenie tej frazy to „pozwól mu gotować”, ale tak na dobrą sprawę należy je rozumieć jako „pozwól mu działać” (starsze pokolenie pewnie myśli o serialu „Breaking Bad” czytając te frazy).
„Let him cook” może zarówno oznaczać wsparcie dla działań innej osoby, jak również być przedrzeźnianiem czy zachętą do zostawienia innej osoby na pastwę losu i wykonywania czynności, które wiadomo, że źle dla niej się skończą. Tego typu przykładów są setki, a praktycznie każdego dnia powstają nowe.
Zrozumienie, w czym rzecz z tym całym gotowaniem, nie wychodzi zarówno czołowym modelom AI, jak i dorosłym czy nawet moderatorom społeczności. Ogólne wyniki są niskie, zwłaszcza gdy weźmiemy pod uwagę zrozumienie czy dana fraza jest nacechowana negatywnie, agresywnie czy ma na celu obrazić lub umniejszyć drugiej osobie (w poniższej tabelce wyniki ujęte w kolumnie nazwanej „Safety”).
Spośród czterech przebadanych modeli najlepiej poradził sobie Claude, osiągając minimalnie lepsze wyniki niż przebadani rodzice.
Dlaczego AI nie rozumie młodszego pokolenia?
Gen Z i Alfa rozmawiają tworząc własny język na kanałach, do których nie mają dostępu modele AI. Są to czaty podczas rozgrywki w “League o Legends” czy “Counter Strike'a”, które znikają zaraz po zakończonej rozgrywce, są to rozmowy na Snapchacie i innych komunikatorach. Te pokolenia niezbyt chętnie pozostawiają swoje cyfrowe ślady na forach internetowych czy dużych serwisach. Dodatkowo w sieci nie ma zbyt wiele miejsc, w których ktoś spisuje na bieżąco ciągle pojawiające się definicje młodzieżowego slangu.
W Polsce takim serwisem jest działający od ponad 18 lat Miejski.pl. Jednak to za mało, aby modele lingwistyczne sztucznej inteligencji mogły poprawnie zrozumieć język młodego pokolenia.
Więc jeśli uważasz się za dziadersa i chcesz skumać, o co biega swoim dzieciom, to nie pytaj AI, bo ono nie potrafi skleić tego tak samo jak Ty.
