ИИ решает, кому жить? Где проходит граница между помощью алгоритма и смертельной ошибкой

Еще несколько лет назад идея о том, что искусственный интеллект может участвовать в распределении мест в реанимации, казалась сценарием из фантастического фильма. Сегодня это уже реальность.

Алгоритмы помогают врачам находить опухоли на ранних стадиях, анализируют снимки КТ и МРТ, прогнозируют риск осложнений после операций и круглосуточно отслеживают состояние пациентов в отделениях интенсивной терапии. По прогнозам аналитиков, мировой рынок медицинского ИИ к началу следующего десятилетия вырастет в несколько раз и станет одним из самых быстрорастущих сегментов цифрового здравоохранения.

Но вместе с ростом возможностей появляются вопросы, на которые медицина пока не дала окончательных ответов. Где заканчивается помощь технологии и начинается передача ответственности машине? Может ли алгоритм ошибиться в вопросах жизни и смерти? И кто будет отвечать, если такое решение приведет к трагедии?

Поводом для новой дискуссии стала история в Бразилии. Семья 32-летней Ребеки Кардозу Тененте Молины обвинила государственную систему распределения коек на базе искусственного интеллекта в том, что она занизила тяжесть состояния пациентки и фактически лишила женщину возможности своевременно попасть в реанимацию. По словам родственников, врачи не смогли оперативно изменить решение алгоритма, а пять дней ожидания оказались фатальными. Обстоятельства трагедии сейчас расследуются, однако сам случай уже вызвал международную дискуссию о границах применения ИИ в медицине.

История из Бразилии заставила специалистов вновь задать вопрос, который еще недавно считался скорее философским: можно ли доверить машине решения, от которых зависит человеческая жизнь?

ИИ уже вошел в больницы. Но насколько далеко ему можно зайти?

Искусственный интеллект сегодня используется практически на всех этапах оказания медицинской помощи. Он помогает врачу поставить диагноз, анализирует медицинские изображения, оценивает вероятность осложнений, прогнозирует ухудшение состояния пациента и даже участвует в сортировке больных в экстренных отделениях. В период пандемии COVID-19 подобные системы применялись для прогнозирования ухудшения состояния пациентов и демонстрировали результаты, сопоставимые с работой опытных специалистов.

Однако между «подсказать» и «решить» существует огромная разница.

Именно на это обращает внимание бизнес- и системный аналитик Группы Компаний МРТ Эксперт Антон Гусев. По его словам, проблема начинается не тогда, когда в больнице появляется ИИ, а тогда, когда алгоритм из помощника превращается в скрытого администратора медицинских решений.

Комментарий эксперта показывает главный парадокс цифровой медицины. Алгоритм действительно способен обработать огромный массив информации быстрее человека. Он не устает, не отвлекается и может заметить закономерности, которые врач пропустит в условиях высокой нагрузки.

Но медицина редко сводится к цифрам.

Пациент — это не набор лабораторных показателей и не строка в электронной карте. Врач оценивает динамику состояния, поведение человека, реакцию на лечение, десятки неформализованных факторов, которые невозможно полностью описать в виде набора параметров.

Именно поэтому большинство международных рекомендаций рассматривают медицинский ИИ как систему поддержки принятия решений, а не как самостоятельного участника лечения. Одними из ключевых принципов безопасного медицинского ИИ сегодня считаются прозрачность, возможность проверки решения и обязательное участие человека в критически важных процессах.

Самый опасный сценарий — когда врач больше не может сказать алгоритму «нет»

На первый взгляд кажется, что проблема заключается в ошибке программы. На самом деле специалисты опасаются другого сценария.

Алгоритмы ошибаются. Ошибаются и люди.

Настоящая угроза возникает тогда, когда медицинская система начинает воспринимать вывод ИИ как абсолютную истину.

Подобное явление давно известно в авиации, промышленности и банковской сфере. Его называют automation bias — склонностью человека доверять автоматизированным системам больше, чем собственному профессиональному опыту.

Если врач начинает думать: «Система уже все посчитала, значит, она знает лучше», риск ошибки только возрастает.

Именно об этом говорит основатель ENGRAM Герман Коваленко. По его мнению, ИИ должен работать по тому же принципу, что и автопилот самолета: помогать человеку, но никогда не лишать его права окончательного решения.

Эта аналогия с автопилотом очень точно описывает нынешний этап развития медицинского ИИ.

Современные алгоритмы способны анализировать огромные объемы информации, выявлять скрытые закономерности и предупреждать врача о потенциальных рисках. Но они не понимают последствий своих решений. Они не чувствуют ответственности и не могут учитывать весь клинический контекст.

Более того, современные большие языковые модели обладают еще одной опасной особенностью: они умеют ошибаться очень убедительно. Система может выдать логичный, профессионально сформулированный ответ, который окажется полностью неверным. Именно поэтому многие специалисты считают, что самым опасным сценарием будущего станет не «злой ИИ», а «слишком послушный врач», который перестанет подвергать сомнению выводы алгоритма.

Медицинский ИИ создает новую цель для хакеров

В общественной дискуссии вокруг ИИ чаще обсуждают риски неверного диагноза или ошибочной оценки состояния пациента. Однако существует и другая сторона проблемы.

Любая медицинская ИИ-система работает с огромным массивом сверхчувствительной информации: историями болезней, диагнозами, результатами анализов, сведениями о хронических заболеваниях и психическом здоровье.

Именно поэтому медицина давно считается одной из самых привлекательных целей для киберпреступников.

На этот риск обращает внимание консультант по защите персональных данных компании Б-152 Елизавета Воронова.

Комментарий эксперта показывает, что спор вокруг медицинского ИИ давно вышел за рамки врачебных ошибок.

Сегодня перед системами здравоохранения одновременно стоят сразу несколько задач.

Нужно обеспечить безопасность пациентов.

Нужно защитить персональные данные.

Нужно объяснить, как именно алгоритм пришел к своему выводу.

И наконец, необходимо определить, кто отвечает за ошибку системы.

Пока ни одна страна мира не смогла дать исчерпывающий ответ на все четыре вопроса одновременно.

Готова ли Россия к массовому медицинскому ИИ

Российское здравоохранение уже использует отдельные ИИ-решения. Алгоритмы помогают анализировать медицинские изображения, формировать заключения, отслеживать состояние пациентов и автоматизировать рутинную работу врачей.

Однако до массового внедрения медицинского ИИ еще далеко.

Причин несколько.

Во многих медицинских организациях сохраняются проблемы с качеством данных и цифровой инфраструктурой.

Не везде существуют единые стандарты хранения информации.

Не решены вопросы ответственности.

Врачи зачастую не понимают, как работает алгоритм и кто будет отвечать за последствия его рекомендаций.

По сути, Россия находится в той же точке, что и большинство мировых систем здравоохранения: технологии уже появились, а правила их использования только формируются.

Именно поэтому история в Бразилии можно рассматривать не как исключение, а как предупреждение.

Человеческая жизнь не должна превращаться в цифровой рейтинг

Искусственный интеллект способен сделать медицину быстрее, точнее и эффективнее.

Он может помочь врачу не пропустить тревожный сигнал, быстрее поставить диагноз и снизить нагрузку на медицинский персонал.

Но чем больше полномочий получает алгоритм, тем выше цена его ошибки.

Главный вывод, который следует из бразильской истории, заключается в том, что опасен не сам искусственный интеллект.

Опасна ситуация, в которой человек перестает быть главным участником принятия решений.

ИИ может подсказать.

Может предупредить.

Может проанализировать.

Но в вопросах жизни и смерти он должен оставаться тем, чем и задумывался изначально, — инструментом помощи врачу, а не системой, определяющей, кто достоин места в реанимации.

Пока право сказать алгоритму «нет» остается у человека, технологии работают на пациента.

Когда это право исчезает, риск становится слишком высоким.