Компанія Cloudflare запровадила кілька нових заходів, спрямованих на боротьбу з пошуковими роботами зі штучним інтелектом. Почнемо з того, що кожного нового клієнта домену, який реєструється в компанії для управління трафіком свого сайту, тепер запитуватимуть, чи хочуть вони дозволити ШІ-ботів або заблокувати їх взагалі. У 2024 році компанія випустила безкоштовний інструмент для блокування ШІ-ботів, але з цією зміною користувачі можуть заблокувати їх за замовчуванням без необхідності втручатися в налаштування. Кілька великих видавництв, серед яких Condé Nast, TIME і The Associated Press, вже підписалися на блокування пошукових роботів. Крім того, Cloudflare запустила приватний бета-експеримент під назвою “pay per crawl”, який дозволить сканерам отримати доступ до контенту веб-сайту, лише якщо вони заплатять за нього.
Метью Прінс, генеральний директор Cloudflare, нещодавно заявив, що видавці стикаються з екзистенційною загрозою, оскільки люди не переходять за посиланнями на джерела чат-ботів. Якщо користувачі не відвідують ці джерела, веб-сайти не отримують дохід від реклами, необхідний для продовження роботи. “Оригінальний контент – це те, що робить інтернет одним з найбільших винаходів минулого століття, і дуже важливо, щоб творці продовжували його створювати”, – сказав Прінс у заяві, опублікованій разом з останніми оновленнями компанії. “Пошукові системи зі штучним інтелектом вилучають контент без обмежень. Наша мета – повернути владу в руки творців, водночас допомагаючи AI-компаніям впроваджувати інновації. Йдеться про захист майбутнього вільного та динамічного Інтернету за допомогою нової моделі, яка працює для всіх”.
Cloudflare вважає, що видавці повинні мати можливість стягувати плату з ШІ-ботів за доступ, якщо вони хочуть, і оплата за сканування – це перший експеримент саме з цією метою. “Щоразу, коли АІ-сканер запитує контент, він або повідомляє про намір здійснити оплату в заголовках запиту для успішного доступу (код відповіді HTTP 200), або отримує відповідь 402 “Потрібна оплата” із зазначенням ціни”, – пояснили в Cloudflare. Компанія реєструє ці транзакції та надає відповідну технічну інфраструктуру. Видавці зможуть дозволити певним пошуковим роботам отримати доступ до свого контенту безкоштовно, якщо вони цього захочуть, а для інших пошукових роботів вони можуть встановити фіксовану ціну за запит на своїх веб-сайтах.
Компанія заявляє, що оплата за сканування все ще перебуває на дуже ранніх стадіях, і вона очікує, що цей інструмент буде розвиватися в майбутньому. Компанія також заявляє, що підтримує розвиток інших ринків і способів стягування плати з пошукових роботів за контент. Наприклад, маркетплейс може дозволити динамічне ціноутворення, що дозволить видавцям встановлювати різні тарифи для різних типів контенту.
