OpenAI оголосила про нові заходи безпеки після кількох тривожних інцидентів, коли ChatGPT не розпізнав ознаки психічної кризи у користувачів.

Зокрема, йдеться про випадок самогубства підлітка Адама Рейна, який обговорював із ChatGPT свої наміри покінчити з життям. Модель навіть надала йому інформацію про методи самогубства, враховуючи його захоплення. Батьки хлопця подали позов проти OpenAI.

Ще один випадок — Стейн-Ерік Сельберг, який мав психічні розлади. Він використовував ChatGPT для підтвердження своїх параноїдальних думок, що призвело до вбивства матері та самогубства.

У відповідь OpenAI планує автоматично перенаправляти чутливі розмови до моделей міркування, таких як GPT-5, які краще аналізують контекст і менш схильні до підтвердження шкідливих думок. Компанія вже запровадила маршрутизатор, який у реальному часі обирає між швидкими моделями та тими, що здатні до глибшого аналізу.

Також OpenAI готує запуск батьківського контролю: батьки зможуть пов’язати свій акаунт з акаунтом дитини, контролювати поведінку моделі, вимикати пам’ять та історію чатів, а також отримувати сповіщення, якщо система виявить ознаки гострої тривоги у підлітка.

Ці заходи є частиною 120-денного плану покращення безпеки. OpenAI співпрацює з експертами у сфері психічного здоров’я, розладів харчової поведінки, залежностей та підліткової медицини, щоб розробити ефективні запобіжники.

Попри ці кроки, адвокат родини Рейна назвав реакцію компанії "недостатньою", вказуючи на серйозні прогалини в системі захисту користувачів.