Американские исследователи из медицинского центра Mayo Clinic и компании Zyter|TruCare, специализирующейся на цифровом здравоохранении, представили новый подход, который может кардинально изменить взаимодействие между врачами и искусственным интеллектом (ИИ) в сфере медицины. В рамках исследования ученые разработали систему оценки надежности, направленную на повышение прозрачности и предсказуемости работы медицинского ИИ. Результаты испытаний показали, что применение этой системы позволяет значительно сократить число отклоненных врачами рекомендаций, снижая этот показатель с 87,6% до 33,3%. Работа была опубликована в авторитетном журнале Diagnostics.

Для проверки эффективности разработанного подхода использовалась международная база данных MIMIC-III, в которой содержатся клинические случаи, связанные с сердечно-сосудистыми заболеваниями. На основе данных 6 689 случаев исследователи смогли протестировать механизм, который не только формирует диагноз, но и дает подробное объяснение, на каком основании сделан тот или иной вывод. Это объяснение помогает врачам лучше понимать уверенность ИИ в собственных заключениях и позволяет проводить сравнительный анализ с диагнозом, установленным врачом.

Новая система оценивает каждый диагноз по трем основным параметрам: уровень уверенности ИИ в своем выводе, степень сходства с врачебным заключением и качество объяснения, предоставленного ИИ. Эти показатели затем объединяются в единый индекс доверия. Важно отметить, что если объяснение диагнозов представляется недостаточно полным или убедительным, система требует от модели более высокого уровня уверенности, прежде чем врач сможет принять решение на основе её рекомендаций. Такой подход помогает минимизировать число случаев, когда врачам приходится сомневаться в точности рекомендаций ИИ, и фильтрует ненадежные решения.

Результаты тестирования показали, что в случаях высокой уверенности модели (90–99%) врачи отклоняли лишь 1,7% рекомендаций, что подтверждает высокую точность и надежность таких диагнозов. В то время как при низкой уверенности (70–79%) ИИ был отклонен практически в 100% случаев. Интересным оказалось также влияние качества объяснений на решение врачей. Если обоснование диагноза было минимальным, диагнозы отклонялись в 73,9% случаев. Однако, когда объяснение было более полным и развернутым, процент отклонений снизился до 49,3%.

Одним из основных препятствий на пути внедрения ИИ в клиническую практику является недостаток прозрачности и точной калибровки уверенности ИИ в своих выводах. В настоящее время ИИ может предложить врачам диагноз, но не всегда может объяснить, почему он пришел к этому выводу. Это порождает недоверие со стороны специалистов, что ограничивает применение таких технологий в медицине. Однако разработанная система позволяет сделать взаимодействие врача и ИИ более осмысленным и доверительным. Врачи получают не просто готовый диагноз, а четкое и понятное объяснение, что помогает снижать риск ошибок, связанных с чрезмерным доверием или, наоборот, недоверием к технологии. Такая прозрачность ускоряет процесс принятия решений и делает его более обоснованным.

Эта разработка открывает путь к улучшению точности и надежности ИИ в медицине, что, в свою очередь, повышает уверенность врачей в использовании таких технологий. Ученые подчеркивают, что переход на более прозрачные и надежные ИИ-системы — это не просто инновация, а необходимый шаг для эффективного внедрения технологий в здравоохранение. В будущих исследованиях предполагается адаптировать этот подход к таким областям медицины, как онкология, неврология и инфекционные заболевания.

Следующий этап исследования будет заключаться в испытаниях системы в реальных клинических условиях, что позволит оценить, как предложенная модель влияет на точность диагностики и качество лечения пациентов. Важно, что данные о результатах этих испытаний будут собираться на основе реальных клинических случаев, а не на искусственно подготовленных данных, как это часто бывает в научных исследованиях. Такой подход помогает избежать так называемой «иллюзии эффективности», когда системы ИИ могут показывать высокие результаты в лабораторных условиях, но на практике оказываются менее точными.

Исследования, проведенные ранее, подтверждают необходимость создания более надежных и прозрачных ИИ-систем для здравоохранения. Например, ученые из Германии, Великобритании и США в исследовании, опубликованном в журнале Nature Medicine в 2024 году, показали, что современные языковые модели ИИ значительно уступают врачам в точности диагностики. Так, при анализе 2,4 тысячи случаев заболеваний брюшной полости ИИ правильно определял патологию лишь в 13–68% случаев, тогда как у специалистов точность диагностики составила 84–86%. Причины таких результатов кроются в том, что ИИ зачастую не следует диагностическим инструкциям, неправильно интерпретирует данные анализов и меняет выводы при малейших изменениях в запросах.

Тем не менее, исследователи верят, что предложенная система может стать основой для создания будущих стандартов надежности ИИ в здравоохранении. Прозрачность работы алгоритмов и четкая калибровка их уверенности в диагнозах помогут значительно улучшить качество медицинской помощи и ускорить процессы принятия решений в клинической практике. Это может стать важным шагом на пути к интеграции искусственного интеллекта в повседневную медицинскую практику, делая ее более эффективной и безопасной для пациентов.