Медичний ШІ Google помилився / © Pixabay

Фахівці в галузі охорони здоров’я дедалі частіше висловлюють занепокоєння через активне використання в медицині генеративного штучного інтелекту, який схильний до помилок.

Про це йдеться у матеріалі yahoo.

Одна з найбільших проблем таких технологій — це так звані «галюцинації» — термін, який використовують для опису неправдивих або вигаданих фактів, які ШІ подає надзвичайно переконливо.

Один особливо помітний приклад залишився поза увагою користувачів, зокрема, медиків, понад рік. У науковій статті, опублікованій у травні 2024 року, мовна модель Google презентувала свою медичну модель ШІ під назвою Med-Gemini. Там демонструвалось, як вона аналізує знімки мозку, зроблені в радіологічній лабораторії, для виявлення різних станів.

Серед результатів модель виявила «старий інфаркт у лівих базилярних гангліях» — при цьому «basilar ganglia» — це анатомічний термін, що позначає ділянку, якої не існує у людському організмі. Ліцензований невролог Браян Мур звернув увагу на цю помилку і повідомив про неї виданню The Verge. Хоча Google оновила свій блог, у самій науковій статті помилку досі не виправлено.

Ймовірно, модель ШІ сплутала базальні ганглії (ділянка мозку, що відповідає за рухи та формування звичок) із базилярною артерією — великою судиною біля основи мозку. У Google пояснили інцидент простою орфографічною помилкою, мовляв, «basilar» — це помилкова транслітерація «basal», яку Med-Gemini засвоїла з навчальних даних.

Однак випадок виявив серйозну ваду: навіть найновіші мовні моделі Google і OpenAI можуть поширювати вигадки, замасковані під достовірну інформацію. У пошукових результатах Google це вже створює труднощі для користувачів, які шукають правдиву інформацію. Але в медичному контексті такі помилки можуть коштувати людських життів.

«Це надзвичайно небезпечно. Здається, лише дві літери різниці, але це справді серйозна помилка», — заявив директор з медичної інформації в системі Providence Маулін Шах.

2024 року Google було оголошено, що ШІ має «величезний потенціал у медицині», зокрема для аналізу рентгенівських знімків, КТ та інших діагностичних даних.

Коли Мур повідомив компанію про помилку, там відповіли, що це просто одруківка. У блозі компанії з’явилась примітка, що «'basilar' — це поширена помилкова транскрипція 'basal', яку Med-Gemini засвоїла з навчальних матеріалів». Проте в оригінальному дослідженні все ще фігурує неіснуюча «basilar ganglia».

«Проблема в тому, що ми не можемо покладатися на фаховість людей, які перевірятимуть ці тексти», — додає Шах.

І Med-Gemini — не єдиний приклад. Більш потужна модель Google, MedGemma, демонструє різні відповіді на ті самі запити залежно від формулювання, і часом — помилкові.

«ШІ має схильність вигадувати речі і не каже „я не знаю“, — що є критичною проблемою для таких важливих сфер, як медицина», — підкреслює професорка радіології та інформатики Еморійського університету Джуді Гічоя (The Verge).

Інші експерти також застерігають: ми надто поспішаємо з впровадженням ШІ у лікарнях — від віртуальних терапевтів до медсестер і автоматичного ведення діалогу з пацієнтами. Це вимагає значно обережнішого підходу.

До того ж постійна потреба у людському контролі над результатами роботи «галюцинуючого» ШІ може, навпаки, знижувати ефективність.

Попри це, Google не зупиняється. У березні компанія анонсувала, що її ненадійна функція AI Overviews почне надавати медичні поради. Також представили «співавтора-науковця» — ШІ, який має допомагати в розробці нових ліків та інших наукових дослідженнях.

Але без належної перевірки помилки можуть мати фатальні наслідки.

«ШІ повинен мати набагато нижчу допустиму межу помилок, ніж людина», — наполягає Маулін Шах. — «Якщо хтось каже: „Достатньо, щоб ШІ був настільки ж точний, як людина“, — я з цим категорично не згоден».

Нагадаємо, нещодавнє дослідження Microsoft свідчить, що професії перекладач та письменник наразі під загрозою зникнення через ШІ, тоді як робочі спеціальності — на піку популярності.