МИНСК, 15 апр – Sputnik. Доля верных ответов "нейронки" по теме медицины и здоровья едва превышает 50%, таковы данные исследования, результаты которого опубликованы в медицинском научном журнале BMJ Open.
Группа исследователей из университетов США и Канады провела мониторинг ответов нейросетей на вопросы, которые касаются медицины и здоровья. Были оценены ответы пяти популярных среди пользователей чат-ботов: Gemini, DeepSeek, Meta AI*, ChatGPT и Grok.
Эти "интеллектуальные помощники" активно используются во многих сферах: образовании, бизнесе, маркетинге и медицине.
"Однако большинство взаимодействий происходит с неспециалистами, использующими чат-боты как поисковые системы, в том числе для повседневных запросов, касающихся здоровья и медицины", – говорится в аннотации к исследованию.
Оно было построено на том, что каждой из нейронок задали по 10 вопросов из пяти категорий. ИИ спрашивали о раке, вакцинации, стволовых клетках, питании и спорте. Эксперты оценивали ответы по точности и полноте предоставленной информации. Практически половина ответов – 49,6% – были признаны ошибочными, причем каждый пятый ответ был в корне неверным, каждый третий – содержал искаженную информацию и неточности.
"Почти половина (49,6%) ответов были проблематичными: 30% – несколько проблематичными и 19,6% – крайне проблематичными", – говорится в сообщении ученых.
Отмечается, что все задействованные в исследовании чат-боты отвечали примерно с одинаковым "успехом".
Чаще всего искусственный интеллект ошибался, отвечая на вопросы по питанию. Много ложной информации было и при ответах по поводу спорта и стволовых клеток. В теме вакцинации и онкологии "нейронки" оказались немного более подкованными.
Ученые обращают внимание, что чат-боты были готовы дать ответы на все задаваемые вопросы и только два из 250 запросов поставили их в тупик.
Кроме того, ни одна "нейронка" не смогла предоставить полностью верный список источников. Вместо этого ИИ испытывал "галлюцинации", то есть попросту их выдумывал.
Еще один значительный дефект цифрового разума исследователи зафиксировали в подаче информации – она была сложна для понимания обычного человека. Чтобы разобраться в написанном как минимум нужно было быть студентом-второкурсником медвуза.
"Проверенные чат-боты показали неудовлетворительные результаты при ответах на вопросы из областей здоровья и медицины, подверженных распространению ложной информации", – заключали авторы исследования.
* принадлежат Meta, деятельность которой запрещена в России как экстремистская.
Самые интересные и важные новости ищите в нашем Telegram-канале, MAX и Viber. Также следите за нами в Дзен!