Українські дослідники протестували найпопулярніші моделі штучного інтелекту (ШІ) за завданнями ЗНО, але набрати понад 70% правильних відповідей не змогла жодна з них. Про це повідомляє медіа dev.ua з посиланням на дослідження.
Розробники представили ZNOVision – це перший багатоформатний тест, який перевіряє можливості штучного інтелекту працювати з українською мовою, освітнім контентом і національною культурою.
ZNOVision складається з понад 4300 завдань, поділених на 13 категорій: від фізики та математики до історії й літератури. Понад половина завдань містить візуальний компонент – схеми, діаграми, карти, малюнки.
Для обробки запитань та розгортання моделей команда використала хмарну інфраструктуру De Novo, яка надала доступ до GPU кластерів у приватній хмарі, сертифікованій за державними вимогами КСЗІ.
Жодна з моделей не набрала 70 % правильних відповідей.
Для порівняння, випадковий вибір дав би 22%. Помилки найчастіше траплялись у складних візуально-текстових завданнях: моделі не розпізнавали українські слова на зображеннях, плутали одиниці виміру, ігнорували частину формулювання.
У наборі VQAUA (візуальні запитання) моделі показали такі результати: Claude – 26,7%, GPT4o – 29%, Qwen2VL – 34,4%. Це значно нижче англомовних результатів (> 60 %) й свідчить про відсутність підтримки української мови на рівні мультимодальних представлень.
Раніше директорка Українського центру оцінювання якості освіти (УЦОЯО) Тетяна Вакуленко повідомила, що у майбутньому ШІ хочуть залучати до перевірки НМТ (ЗНО) як третього екзаменатора.
