W ciągu ostatniego roku Cloudflare wprowadził narzędzia dla wydawców, pozwalające radzić sobie z gwałtownym wzrostem liczby botów AI. Pierwsze z nich to rozwiązanie umożliwiające zablokowanie (jednym kliknięciem) wszystkich botów AI. Drugie – panel do monitorowania, weryfikujący, w jaki sposób te boty odwiedzają ich strony.
W wywiadzie z 2024 roku CEO Cloudflare, Matthew Prince, powiedział TechCrunch, że te narzędzia stanowią fundament pod nowy rodzaj rynku, na którym wydawcy mogliby dystrybuować swoje treści do firm AI i otrzymywać za to wynagrodzenie.
Nowa platforma Cloudflare – Pay per Crawl – póki co jest dostępna wyłącznie dla właścicieli stron biorących udział w eksperymencie. Następnie zdecydują oni, czy pozwolą botom AI na indywidualny dostęp do swoich stron za ustaloną stawkę – mikroopłatę za każde „przeskanowanie”. Alternatywnie mogą pozwolić na darmowy dostęp lub całkowicie zablokować boty AI.
Cloudflare twierdzi, że ich narzędzia pozwolą właścicielom stron zweryfikować, czy boty skanują ich treści do trenowania AI, pojawiania się w odpowiedziach wyszukiwarek AI, czy w innych celach.
Wydawcy chcą blokować boty
Nowe narzędzie zostało poparte przez wielu czołowych wydawców, w tym: Buzzfeed, Conde Nast, Dotdash Meredith, Associated Press, The Atlantic, DMGT, Fortune, Gannett, The Independent, Sky News, Time i Ziff Davis.
Cloudflare ogłosił, że domyślne ustawienie dla nowych domen to blokowanie botów AI, które nie mają pozwolenia lub nie zapewniają rekompensaty wydawcom.
Poza tym boty AI mogą deklarować cel swoich działań (trenowanie modelu, wyszukiwanie informacji etc.) w celu ułatwienia wydawcom podjęcia decyzji.
Cytowany przez The Crunch, Prince, powiedział:
„Jeśli internet ma przetrwać erę AI, musimy dać wydawcom należytą kontrolę i zbudować nowy model ekonomiczny, który będzie korzystny dla wszystkich – twórców, odbiorców, przyszłych założycieli AI oraz samej przyszłości sieci. Oryginalne treści sprawiają, że internet jest jednym z największych wynalazków ostatniego stulecia i kluczowe jest, by twórcy nadal je tworzyli. Botom AI pozwalano dotąd na nieograniczone scrapowanie treści. Naszym celem jest oddanie władzy w ręce twórców, przy jednoczesnym wsparciu innowacji firm AI. Chodzi o zabezpieczenie przyszłości wolnego i dynamicznego internetu poprzez nowy model korzystny dla wszystkich.”
Cloudflare to jedna z największych sieci internetowych na świecie, a jej klienci odpowiadają za około 20 proc. ruchu w sieci. We wrześniu ubiegłego roku firma wprowadziła możliwość blokowania botów AI jednym kliknięciem, z której skorzystało już ponad milion klientów.
Analizy Cloudflare
Cloudflare opublikował analizę pokazującą, które boty AI odpowiadają za najwięcej scrapowania. W maju największy udział miał GPTBot od OpenAI – 30 proc. (wzrost o 25 pp. r/r), następnie ClaudeBot od Anthropic - 21 proc. (spadek o 6 p.p. r/r.). Bot Meta-ExternalAgent od Meta miał 19 proc. udziału, Amazonbot 11 proc., a Bytespider, związany z modelami Ernie i AI TikToka, 7,2 proc. (spadek z 42 proc. w 2024 roku).
Googlebot, indeksujący treści dla wyszukiwarki Google, stanowił aż 50 proc. wszystkich crawlerów AI i wyszukiwarkowych – wzrost z 30 proc. rok wcześniej.
