Одним из наиболее разрекламированных обещаний медицинских инструментов искусственного интеллекта является их способность повышать эффективность работы врачей-клиницистов, помогая им интерпретировать изображения, такие как рентгеновские снимки и компьютерные томографии, с большей точностью, чтобы ставить более точные диагнозы.
Но преимущества использования инструментов искусственного интеллекта для интерпретации изображений, по-видимому, варьируются от врача к врачу, согласно новому исследованию, проведенному исследователями Гарвардской медицинской школы в сотрудничестве с коллегами из Массачусетского технологического института и Стэнфорда.
Результаты исследования показывают, что индивидуальные различия между врачами формируют взаимодействие между человеком и машиной решающим образом, который исследователи еще не до конца понимают. Анализ, опубликованный в журнале Nature Medicine , основан на данных более раннего рабочего документа той же исследовательской группы, опубликованного Национальным бюро экономических исследований.
Исследование показало, что в некоторых случаях использование ИИ может повлиять на работу рентгенолога и точность его интерпретации.
«Мы обнаружили, что разные рентгенологи действительно по-разному реагируют на помощь ИИ: одним она помогает, а другим вредит», — сказал один из старших авторов Пранав Раджпуркар, доцент кафедры биомедицинской информатики в Институте Блаватника при HMS.
«Это означает, что мы не должны смотреть на рентгенологов как на однородную популяцию и учитывать только «среднее» влияние ИИ на их работу», — сказал он. «Чтобы максимизировать пользу и минимизировать вред, нам необходимо персонализировать вспомогательные системы искусственного интеллекта».
Полученные результаты подчеркивают важность тщательно выверенного внедрения ИИ в клиническую практику , но они никоим образом не должны препятствовать внедрению ИИ в кабинетах и клиниках рентгенологов, говорят исследователи.
Вместо этого результаты должны сигнализировать о необходимости лучше понять, как взаимодействуют люди и ИИ, и разработать тщательно выверенные подходы, которые повышают производительность человека, а не вредят ему.
«Клиницисты имеют разные уровни знаний, опыта и стилей принятия решений, поэтому обеспечение того, чтобы ИИ отражал это разнообразие, имеет решающее значение для целевого внедрения», — сказала Фейян «Кэти» Ю, которая проводила работу в лаборатории Раджпуркара вместе с одним из первых автор статьи вместе с Алексом Мёрингом из Школы менеджмента Слоана Массачусетского технологического института.
«Индивидуальные факторы и вариации будут иметь ключевое значение для обеспечения того, чтобы ИИ развивался, а не мешал работе и, в конечном итоге, диагностике», — сказал Ю.
Инструменты искусственного интеллекта по-разному воздействовали на разных рентгенологов
Хотя предыдущие исследования показали, что ИИ-помощники действительно могут повысить эффективность диагностики рентгенологов, в этих исследованиях рентгенологи рассматривались в целом, без учета различий от радиолога к радиологу.
Напротив, новое исследование рассматривает, как индивидуальные факторы клинициста — область специализации, годы практики, предыдущее использование инструментов ИИ — вступают в игру в сотрудничестве человека и ИИ.
Исследователи изучили, как инструменты искусственного интеллекта повлияли на работу 140 рентгенологов при выполнении 15 рентгеновских диагностических задач — насколько надежно рентгенологи смогли обнаружить характерные особенности на изображении и поставить точный диагноз. В анализ были включены 324 случая пациентов с 15 патологиями — аномальными состояниями, зафиксированными на рентгенограммах грудной клетки.
Чтобы определить, как ИИ влияет на способность врачей выявлять и правильно идентифицировать проблемы, исследователи использовали передовые вычислительные методы, которые фиксировали масштабы изменений в производительности при использовании ИИ и при его отсутствии.
Эффект от помощи ИИ был непостоянным и различался у разных радиологов: эффективность одних рентгенологов улучшалась при использовании ИИ, а у других ухудшалась.
Инструменты искусственного интеллекта непредсказуемо повлияли на производительность человека
Влияние ИИ на работу рентгенологов часто менялось самым удивительным образом.
Например, вопреки ожиданиям исследователей, такие факторы, как многолетний опыт работы рентгенолога; специализировались ли они в торакальной или грудной радиологии; и то, использовали ли они раньше считыватели ИИ, не позволяло достоверно предсказать, как инструмент ИИ повлияет на работу врача.
Еще один вывод, который бросает вызов общепринятому мнению: врачи, у которых исходные показатели были низкими, не получали постоянной пользы от помощи ИИ. Кто-то выиграл больше, кто-то меньше, а кто-то вообще ничего. Однако в целом рентгенологи с более низкими показателями на исходном уровне имели более низкую производительность с ИИ или без него. То же самое наблюдалось и среди рентгенологов, у которых исходные результаты были лучше. В целом они показали себя стабильно хорошо, с ИИ или без него.
Затем был сделан не такой уж и неожиданный вывод: более точные инструменты искусственного интеллекта повысили производительность врачей-рентгенологов, в то время как плохо работающие инструменты искусственного интеллекта снизили точность диагностики врачей-людей.
По словам исследователей, хотя анализ не был проведен таким образом, чтобы позволить исследователям определить, почему это произошло, этот вывод указывает на важность тестирования и проверки эффективности инструментов ИИ перед клиническим развертыванием. Такое предварительное тестирование может гарантировать, что более низкий ИИ не повлияет на работу врачей-людей и, следовательно, на уход за пациентами.
Что означают эти результаты для будущего искусственного интеллекта в клинике?
Исследователи предупредили, что их результаты не дают объяснения тому, почему и как инструменты ИИ, по-видимому, по-разному влияют на производительность врачей-людей, но отмечают, что понимание того, почему будет иметь решающее значение для обеспечения того, чтобы инструменты ИИ в радиологии улучшали работоспособность человека , а не вредили ему.
С этой целью, отметила команда, разработчики ИИ должны работать с врачами, которые используют их инструменты, чтобы понять и определить точные факторы, которые вступают в игру во взаимодействии человека и ИИ.
Исследователи добавили, что взаимодействие радиолога и искусственного интеллекта должно быть протестировано в экспериментальных условиях, которые имитируют реальные сценарии и отражают реальную популяцию пациентов, для которой предназначены инструменты.
По словам исследовательской группы, помимо повышения точности инструментов ИИ, также важно научить радиологов выявлять неточные прогнозы ИИ и подвергать сомнению диагностические показания инструментов ИИ. Чтобы добиться этого, разработчики ИИ должны убедиться, что они разрабатывают модели ИИ, которые могут «объяснять» их решения.
«Наше исследование раскрывает тонкую и сложную природу взаимодействия машины и человека», — сказал соавтор исследования Нихил Агарвал, профессор экономики Массачусетского технологического института. «Это подчеркивает необходимость понимания множества факторов, участвующих в этом взаимодействии, и того, как они влияют на окончательный диагноз и уход за пациентами».
Среди других авторов были Оиси Банерджи из HMS и Тобиас Зальц из Массачусетского технологического института, который был состаршим автором статьи.
Дополнительная информация: Гетерогенность и предикторы воздействия помощи ИИ на рентгенологов, Nature Medicine (2024). DOI: 10.1038/s41591-024-02850-w . www.nature.com/articles/s41591-024-02850-w
Фото: Unsplash/CC0 Public Domain