Инструменты с лицензией на убийство
Что общего у медицинского ИИ с автономным оружием
Мои посты о неудачах медицинского ИИ вызвали два типа реакций (в духе — стакан наполовину пуст или наполовину полон).
— Стакан наполовину пуст:
«В начале пандемии казалось, что пробил звездный час искусственного интеллекта в медицине. Но внезапно выясняется, что все не так просто, и пока еще человек, которого сначала долго учили медицине, а потом он еще много лет практиковался в своем деле, все еще лучше ИИ, которого обучил за пару месяцев непонятно кто на первых попавшихся данных».
— Стакан наполовину полон:
«Машинное обучение ещё не созрело для использования непрофессионалами, а хорошие специалисты по машинному обучению просто пока не работают над задачами про COVID».
И то, и другое верно.
Но такая трактовка вопроса о рисках медицинского ИИ — лишь вершина айсберга, закрывающего собой главную проблему: отсутствие консенсуса в ответах на следующие два вопроса.
✔️ Медицинский ИИ — это лишь инструмент врача или он может сам принимать важные решения?
✔️ Можно ли принимать важные решения, не обладая пониманием, а лишь из анализа статистики?
Сравним два кейса: медицинский ИИ и автономное летальное оружие.
Попытки ограничить право автономного оружие на самостоятельное решение об убийстве носят довольно ритуальный характер. Все понимают, что в итоге вопрос просто переведут в ту же плоскость, как это было с самонаводящимися ракетами — «решения принимают люди, а самонаведение — это всего лишь автоматизация».
И если, не дай бог, ракета ошибочно самонаведется на автобус со школьниками, то это будет всего лишь ошибка инструмента, за которую винить некого (любая автоматизация невозможна без инструментальных ошибок).
Но если поставить вопрос иначе.
Можно ли допускать принятие машиной «решений последней мили» в вопросах человеческой жизни?
- И если нет, то самонаводящиеся ракеты должны быть отнесены к запрещенному оружию.
- А если это можно, то и в кейсе медицинского ИИ будет аналогично: решение, якобы, принимают люди, а ИИ — всего лишь инструмент, помогающий врачу принимать правильные решения.
Но ведь поскольку не бывает безошибочной автоматизации, инструмент может допускать ошибки. А в медицине довольно часто цена инструментальной ошибки та же, что и на войне или при борьбе с терроризмом, — жизни людей.
Представьте такой кошмар. Массовые ошибки оборудования мониторинга жизненных показателей в палате реанимации. Вместо пульса 200, оборудование часами фиксирует 80. Итог ужасен.
Или другой кошмар. Epic Systems, крупнейшая американская компания по производству электронных медицинских карт, хранит медицинскую информацию примерно о половине населения США. Используя слоган «с пациентом в сердце», компания предлагает портфель из 20 запатентованных ИИ-алгоритмов выявления различных заболеваний и прогнозирования продолжительности пребывания в больнице.
Один из наиболее важных алгоритмов Epic предназначен для прогнозирования сепсиса, основной причины смерти в больницах. Сепсис возникает, когда человеческий организм чрезмерно реагирует на инфекцию и отправляет в кровоток химические вещества, которые могут вызвать повреждение тканей и отказ органа. Раннее обнаружение может спасти жизнь, но сепсис трудно обнаружить на ранней стадии.
Epic утверждает, что прогнозы, сделанные с помощью их модели ESM точны в 76–83% случаев, но заслуживающих доверия независимых тестов этих алгоритмов до сих пор не проводилось.
И только теперь результаты тестов 38 455 пациентов, из которых 2552 страдали сепсисом, опубликованы [1]:
✔️ ESM не смог идентифицировать 67% пациентов с сепсисом; из этих пациентов с предупреждениями о сепсисе ESM у 88% не было сепсиса.
К аналогичным результатам пришло и другое исследование, проведенное STAT (2).
Так почему же сотни больниц используют ESM в качестве инструмента мониторинга пациентов?
- Частично это объясняется тем, что многие люди верят в ажиотаж вокруг ИИ — компьютеры умнее нас, и мы должны им доверять.
- Кроме того, расследование STAT показало, что Epic платила больницам до $1 млн за использование их алгоритмов.
Как заметил Гленн Коэн, директор факультета Центра Петри-Флома Гарвардского университета политики в области здравоохранения, биотехнологии и биоэтики:
«Это был бы ужасный мир, в котором Epic дает людям миллион долларов, а конечный результат — здоровье пациентов. хуже.”
Его слова так комментирует Гари Смит, Senior Fellow Walter Bradley Center for Natural and Artificial Intelligence [3]:
Этот эпический провал — еще один из бесчисленных примеров того, почему мы не должны доверять алгоритмам ИИ, которых мы не понимаем, особенно если их утверждения не были проверены независимо.
Резюме
Сравнение кейсов медицинского ИИ и автономного оружия — вовсе не кликбейтная натяжка.
- И там, и там цена вопроса — жизни людей.
- И там, и там жизнь людей зависит от ошибок принятия решений инструментами автоматизации.
- И там, и там причины ошибок обычно кроются в несовершенстве инструментов, и это, увы, неизбежно.
Полагаю, что есть только два способа минимизации подобных ошибок:
- Запрещение самостоятельного принятия решений инструментам, не понимающим вопроса и выносящим решение лишь на основе статистики, не доступной анализу специалистов (т.н. “черные ящики”).
- Полное запрещение таких инструментов.
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях.
