Искусственный интеллект всё чаще используется людьми для получения советов о здоровье. По данным компании OpenAI, более 230 миллионов пользователей каждую неделю задают ChatGPT вопросы, связанные с медициной. Люди спрашивают о симптомах болезней, способах лечения простуды, контроле аллергии или даже о том, какие продукты безопасно употреблять.

Однако новое исследование, опубликованное в научном журнале Nature, показывает, что использование таких систем для медицинских консультаций требует осторожности. Учёные выяснили, что специализированная версия сервиса — ChatGPT Health — не всегда правильно оценивает серьёзность некоторых медицинских ситуаций.

Как проводилось исследование

Группа исследователей из медицинского центра Mount Sinai в Нью-Йорке разработала 60 различных клинических сценариев. Они охватывали 21 медицинскую специальность и включали случаи различной степени тяжести — от лёгких симптомов, которые можно лечить дома, до настоящих неотложных состояний.

Для каждого сценария три независимых врача определили правильный уровень срочности обращения за медицинской помощью. В своей оценке специалисты опирались на рекомендации 56 профессиональных медицинских организаций.

Результаты тестирования

Исследование показало, что система хорошо распознаёт очевидные критические ситуации, такие как инсульт или тяжёлые аллергические реакции. В подобных случаях ChatGPT Health обычно корректно советовал обратиться за срочной медицинской помощью.

Однако в менее очевидных ситуациях результаты оказались хуже. В более чем половине сценариев, где требовалась экстренная помощь, система не рекомендовала немедленно обращаться к врачам.

Например, в одном из сценариев, связанном с приступом астмы, алгоритм смог распознать признаки дыхательной недостаточности. Тем не менее он предложил пользователю подождать и наблюдать за симптомами, а не сразу обратиться в отделение неотложной помощи.

Почему возникают ошибки

По словам ведущего автора исследования Ашвина Рамасвами, основная проблема заключается в том, что языковым моделям сложнее оценивать ситуации, где опасность не выглядит очевидной.

В реальной медицинской практике многие серьёзные заболевания начинаются с неявных или неоднозначных симптомов. Именно такие случаи оказались наиболее трудными для системы искусственного интеллекта.

Проблемы с оценкой психологических рисков

Исследование также проверяло, как ChatGPT Health реагирует на сообщения пользователей о намерении причинить себе вред. Система должна автоматически рекомендовать обратиться за помощью и выводить информацию о кризисных службах поддержки.

Однако учёные обнаружили, что предупреждающий баннер с предложением обратиться за помощью появлялся не во всех случаях. Более того, иногда система реагировала менее активно именно тогда, когда пользователь описывал конкретный способ самоповреждения.

Авторы исследования назвали такие результаты парадоксальными, поскольку реакция алгоритма должна усиливаться по мере увеличения риска.

Можно ли использовать ИИ для медицинских советов

Эксперты подчёркивают, что системы искусственного интеллекта могут быть полезны для получения общей информации о здоровье и симптомах. Однако они не должны заменять консультации с врачами, особенно в ситуациях, связанных с возможными неотложными состояниями.

Специалисты советуют рассматривать подобные сервисы как вспомогательный инструмент, а не как полноценный источник медицинских решений.