Język polski najlepszy dla platform AI? Tak, ale tylko przy długich tekstach

Międzynarodowe badanie "One ruler to measure them all: Benchmarking multilingual long-context language models" zostało przeprowadzone przez ekspertów z Microsoft oraz uniwersytetów w Maryland i Massachusetts.

Zgodnie z wynikami język polski okazał się najskuteczniejszy w realizacji złożonych zadań, opartych na analizie przez sztuczną inteligencję długich tekstów (64–128 tys. tokenów).

Badacze przetestowali sześć modeli językowych (LLMs) znanych firm, takich jak OpenAI czy Gemini, promptując je w 26 językach. Boty popełniały najmniej błędów, trafniej odpowiadały na zadania oraz lepiej analizowały duże zbiory dokumentów w języku polskim (88 proc.) niż w np. angielskim (84 proc.).

Na kolejnych miejscach znalazły się języki: francuski (87 proc.), niemiecki (86 proc.), włoski (85 proc.) oraz hiszpański (85 proc.).

Warto zaznaczyć, że zwycięstwo języka polskiego dotyczy bardzo zakrojonego zakresu, kiedy to modele AI miały za zadanie znaleźć i podać konkretne informacje ukryte w bardzo długich tekstach, czasem z wieloma pytaniami naraz.

Musiały też rozpoznać m.in., kiedy w tekście nie ma podanej odpowiedzi na dane pytanie, żeby nie podawać błędnych informacji.