Содержание статьи
Если вы обратитесь к врачу, например, с болью в груди, он не сможет прямо с порога назвать ваш диагноз. Сначала выслушает, задаст вопросы, составит список возможных вариантов и назначит анализы, чтобы поэтапно их проверить. Нейросетям же на ответ нужно несколько секунд, они звучат убедительно и почти всегда попадают в цель. Появляется соблазн — открыть ChatGPT и быстро выяснить, чем лучше лечиться.
В 2026 году вышло несколько исследований, где ученые попытались разобраться, что стоит за этой уверенностью языковых моделей, и насколько можно доверять таким ответам.
В журнале Science опубликовали исследование, в котором описали, как модель OpenAI o1-preview обошла врачей по точности определения диагноза на данных из приемного покоя. Для эксперимента взяли описания 76 настоящих визитов из реальных карт пациентов.
Инструкции для ИИ дали те же, что и врачам, то есть данные были детальными, где-то информация была излишней, где-то могла быть решающей подсказкой к постановке диагноза.
Модель и двух терапевтов сравнивали на трех этапах: при поступлении пациента, при первичном осмотре врачом и после перевода в конкретное лечебное отделение. Точность постановки диагноза у всех росла по мере поступления дополнительной информации. На финальном этапе o1-preview поставила верный или близкий диагноз в 82% случаев, а у терапевтов показатель был 79% и 70%.
На исследование среагировало медицинское сообщество. Например, радиолог Микаэль Тордьман из Icahn School of Medicine высказал мнение, что пора переходить к реальным клиническим испытаниям, но нужно больше доказательств. Также он добавил, что модели, обученные специально под медицинские цели, покажут результат еще выше.
Соавторы исследования оценили произошедшее сдержаннее. По их мнению, эксперимент не означает, что ИИ заменит докторов. Стоит задуматься о том, как встроить инструмент в повседневную работу врача.
Точный диагноз — еще не доказательство того, что машина понимает, что происходит с пациентом.
Правильный ответ — не то же самое, что правильное рассуждение
За две недели до того, как опубликовали статью в Science, выходила другая работа. В JAMA Network Open выпустили похожее исследование про ИИ и диагностику, но совсем другого масштаба: 21 модель против тысяч клинических виньеток — гипотетических описаний клинических случаев. Тестировали GPT-5, Claude 4.5 Opus, Gemini 3.0, Grok 4 и все топовые модели. Цель — проверить, есть ли у нейросетей клиническое мышление.
По точности определения диагнозов все модели попали в диапазон 81–90%. Но исследователи отметили, что не стоит сравнивать все модели только по одной метрике.
Авторы придумали свой способ измерения — PrIME-LLM. С его помощью можно оценить клиническое мышление модели на пяти этапах исследования пациента: дифференциальной диагностики, анализа результатов обследования, постановки финального диагноза, назначения тактики лечения и прочих вопросов клинического рассуждения (в оригинале звучит как miscellaneous clinical reasoning questions). И по этой методике суммарная оценка точности моделей уже была меньше — от 64% у Gemini 1.5 Flash до 78% у Grok 4.
Набор радарных диаграмм по всем моделям. Пятиугольники — 5 критериев PrIME-LLM
Объясню, в чем разница между финальным диагнозом и дифференциальной диагностикой, так как в большей степени PrIME-LLM меряет именно разницу между ними.
Финальный диагноз — это ответ на вопрос, чем болеет пациент. Допустим, у человека острая боль в груди и темнеет в глазах. В качестве диагноза модель называет инфаркт миокарда. На этом этапе модели ошибались меньше чем в 40% случаев.
Но прежде чем назвать конкретную болезнь, необходимо сделать дифференциальную диагностику, ведь та же боль в груди может оказаться тромбоэмболией легочной артерии, панической атакой, межреберной невралгией или даже банальной изжогой.
И уже на этом этапе доля неудач переваливает за 80% — у всех моделей без исключения. Рассуждающие в целом заметно сильнее: средний PrIME-LLM 76% против 67% у обычных. Но дифференциальную диагностику это не чинит — авторы прямо отмечают, что прирост оказался постепенным и разрыв не закрыл.
У врача порядок такой: сначала список версий, потом обследования, и только в конце — финальный диагноз. Модель идет с другого конца: она сразу выдает один ответ и застревает на нем, даже когда данных достаточно, чтобы усомниться. Как говорит Арья Рао, один из авторов исследования, модели отлично справляются, когда все данные уже собраны, и теряются в самом начале — там, где ничего еще не ясно.
Проблема за пределами медицины
В другом исследовании проверили, как модели справляются с диагностированием ревматоидного артрита. Это хроническое воспаление суставов, которое легко спутать с десятком других болезней. Лучшая модель поставила правильный диагноз примерно в 95% случаев.
Затем врачи вместо ответов изучали рассуждения нейросетей, которыми модель эти ответы обосновывала, и признали неверными почти 68% из них.
То есть в двух случаях из трех модель называла правильную болезнь, опираясь на неправильную логику. Почему?
В машинном обучении есть феномен shortcut learning, или обучение через короткий путь. Суть в том, что модель просто ищет закономерности в данных. Как это выглядит на практике, показали дерматологи из Гейдельберга. Они прогнали через одобренную в Европе нейросеть снимки родинок — сначала обычные, потом те же самые, но обведенные хирургическим маркером. На обведенных сеть начала массово видеть меланому. Разгадка в обучающей выборке: врач обводит маркером то, что собирается удалять, поэтому среди меланом обведенных снимков оказалось больше. ИИ просто выучил след врачебной тревоги. Диагноз при этом ставила уверенно.
Тот же принцип и в тексте: если в обучающих данных слово «инсулин» мелькает рядом с диагнозом «диабет» чаще, чем описание симптомов, модель может зацепиться именно за него. На простых случаях это работает — там короткий и правильный пути ведут в одну точку. А на сложных, где симптом означает совсем другое, поиск закономерностей уже не помогает.
В случае с постановкой простого диагноза это работает, и верный ответ находится быстро из-за большого объема информации и одинаковых закономерностей. Суть в том, что модель ищет любую закономерность, которая надежно предсказывает ответ на обучающих данных. Клинически осмысленная она или случайная — модели все равно, потому что различить их она не способна.
Но еще любопытнее, что психологи наткнулись на ту же проблему задолго до нейросетей. Она называется эффект Айнштеллунга — застревание на единственном заученном способе, даже когда есть путь короче или старый метод уже не работает. В классическом эксперименте людей учат решать задачу про переливание воды между сосудами длинным способом. Потом дают задачу, которая решается в одно действие. При этом большинство упорно продолжает лить по длинной схеме, не замечая простого решения. Проще говоря, мозг охотнее ходит по протоптанной дорожке.
На языковых моделях тот же эффект проверяли тестом mARC-QA. Это набор задач, специально устроенных так, что привычный паттерн из обучающих данных ведет к неверному ответу. Если модель действительно рассуждает, она должна заметить подвох. Но O1, Gemini, Claude и DeepSeek справились хуже врачей и при этом сохраняли высокую уверенность в своих ответах.
Недавно клиницист Нисарг Патель с коллегами придумали способ заглянуть в рассуждения модели и сравнить их структуру. Они берут текст, которым модель обосновывает диагноз, и строят из него схему, где видно, на какие факты модель опирается, какие выводы делает и в каком порядке. Если модель действительно рассуждает как врач, у нее должны быть устойчивые «диагностические схемы» и одна и та же логика рассуждения в зависимости от паттерна симптомов.
Исследователи протестировали 750 рассуждений пяти моделей на 50 сложных случаях. Оказалось, что схемы рассуждения у клинически похожих и непохожих случаев почти неотличимы друг от друга. Ни один из 15 замеров не прошел статистическую проверку на надежность. Проще говоря, модель использует примерно одну и ту же цепочку рассуждений, независимо от того, с какими описаниями жалоб столкнулась.
Схемы рассуждений были почти одинаковыми и у пар моделей, которые дали верный ответ, и у пар, которые ошиблись — 0,488 против 0,484. Так что между структурой рассуждения модели и верным или неверным ответом связи не было.
Но и у самих исследований есть слабое место
В тестах выше использовались клинические виньетки, то есть короткие описания случаев с известным правильным диагнозом, что-то вроде задачек из учебника. Многие из них давно находятся в открытом доступе. Поскольку модели учатся на текстах из интернета, есть риск, что эти задачи и ответы на них уже им встречались . Тогда правильный диагноз — это результат не рассуждения, а простого извлечения из памяти соответствий.
Так способны ли чат-боты рассуждать как врачи
Все исследования измеряют разные параметры, а общего критерия, как отличить настоящее клиническое мышление от хорошей имитации, пока нет ни у кого.
Ни оптимисты, ни скептики не согласны полностью передать диагностику ИИ. Максимум, на который они согласны — что ИИ может помогать врачу, но принимать решения и нести за них ответственность должен он сам.
Если универсальные модели (например, GPT или Gemini) учатся на всей информации из интернета, то специализированные медицинские модели (AMIE от Google, MedFound) строятся на отобранных клинических данных, с доступом к проверенным руководствам под конкретную задачу. В теории, если модель обучена на закрытом датасете, то это исключает возможность использования уже готовых ответов. Но как это работает на практике — еще предстоит проверить с помощью тех же тестов, которым пока нельзя до конца доверять.
ИИ может оказаться точнее врача и при этом не понимать ни слова из того, что говорит, а индустрия выкатывает модели быстрее, чем мы успеваем разобраться, что стоит за их бенчмарками.
Загрузка...
