Согласно новому исследованию исследователей Массачусетского технологического института, при диагностике кожных заболеваний на основе изображений кожи пациента врачи не работают так же эффективно, если у пациента более темная кожа.
Исследование, в котором приняли участие более 1000 дерматологов и врачей общей практики , показало, что дерматологи точно охарактеризовали около 38% изображений, которые они видели, и только 34% тех, на которых была изображена более темная кожа. Врачи общей практики, которые в целом были менее точны, показали аналогичное снижение точности при более темной коже.
Исследовательская группа также обнаружила, что помощь алгоритма искусственного интеллекта может повысить точность врачей, хотя эти улучшения были более значительными при диагностике пациентов со светлой кожей.
Хотя это первое исследование, которое продемонстрировало различия в диагностике врачей по оттенку кожи , другие исследования показали, что изображения, используемые в учебниках и учебных материалах по дерматологии, преимущественно имеют более светлые оттенки кожи. По словам команды Массачусетского технологического института, это может быть одним из факторов, способствующих расхождению, а также вероятность того, что у некоторых врачей может быть меньше опыта в лечении пациентов с более темной кожей.
«Вероятно, ни один врач не собирается делать хуже любому типу людей, но возможно, у вас нет всех знаний и опыта, и поэтому на определенных группах людей вы можете сделать хуже», — говорит Мэтт. Гро, доктор философии. 23 года, доцент Школы менеджмента Келлогга Северо-Западного университета. «Это одна из тех ситуаций, когда вам нужны эмпирические данные, которые помогут людям понять, как вы можете изменить политику в отношении образования в области дерматологии».
Гро является ведущим автором исследования, которое опубликовано сегодня (5 февраля) в журнале Nature Medicine . Розалинда Пикард, профессор медиаискусства и науки Массачусетского технологического института, является старшим автором статьи.
Диагностические расхождения
Несколько лет назад исследование Массачусетского технологического института под руководством доктора философии Джой Буоламвини. '22 обнаружили, что программы анализа лица имеют гораздо более высокий уровень ошибок при прогнозировании пола темнокожих людей. Это открытие вдохновило Гро, изучающего сотрудничество человека и искусственного интеллекта, изучить, могут ли модели искусственного интеллекта и, возможно, сами врачи испытывать трудности с диагностикой кожных заболеваний на более темных оттенках кожи — и можно ли улучшить эти диагностические способности.
«Это казалось прекрасной возможностью определить, существует ли социальная проблема и как мы можем ее решить, а также определить, как лучше всего использовать помощь ИИ в принятии медицинских решений», — говорит Гро. «Мне очень интересно, как мы можем применить машинное обучение к реальным проблемам, особенно к тому, как помочь экспертам лучше выполнять свою работу. Медицина — это область, где люди принимают действительно важные решения, и можем ли мы улучшить их решения? Сделав это, мы могли бы улучшить результаты лечения пациентов».
Чтобы оценить точность диагностики врачей, исследователи собрали массив из 364 изображений из учебников по дерматологии и других источников, представляющих 46 кожных заболеваний для разных оттенков кожи.
На большинстве этих изображений изображено одно из восьми воспалительных заболеваний кожи, включая атопический дерматит, болезнь Лайма и вторичный сифилис, а также редкую форму рака, называемую кожной Т-клеточной лимфомой (КТКЛ), которая может выглядеть похожей на воспалительное заболевание кожи. . Многие из этих заболеваний, включая болезнь Лайма, могут по-разному проявляться на темной и светлой коже.
Исследовательская группа набирала субъектов для исследования через Sermo, социальную сеть для врачей. В общую исследовательскую группу вошли 389 сертифицированных дерматологов, 116 ординаторов-дерматологов, 459 врачей общей практики и 154 врача других категорий.
Каждому из участников исследования показали по 10 изображений и попросили высказать три основных предположения о том, какое заболевание может представлять каждое изображение. Их также спросили, направят ли они пациента на биопсию. Кроме того, врачей общей практики спросили, направят ли они пациента к дерматологу.
Точность диагностики кожных заболеваний. а. Точность диагностики врачами-участниками восьми основных кожных заболеваний. «Резидент» относится исключительно к резидентам дерматологии. К другим врачам/докторам медицинских наук относятся другие врачи, имеющие степень доктора медицины или доктора остеопатической медицины. б — Топ-3 диагностической точности БКД (N = 296 врачей и N = 2660 наблюдений) и ПКП (N = 350 врачей и N = 3150 наблюдений) по каждому из восьми основных заболеваний кожи и вспомогательных 38 заболеваний. Фото: Природная медицина (2024 г.). DOI: 10.1038/s41591-023-02728-3
«Это не так комплексно, как личная сортировка, когда врач может осматривать кожу под разными углами и контролировать освещение», — говорит Пикард. «Однако изображения кожи более масштабируемы для онлайн-сортировки, и их легко ввести в алгоритм машинного обучения, который может быстро оценить вероятный диагноз».
Исследователи обнаружили, что неудивительно, что специалисты по дерматологии имели более высокие показатели точности: они правильно классифицировали 38% изображений по сравнению с 19% у врачей общей практики.
Обе эти группы потеряли около четырех процентных пунктов в точности при попытке диагностировать кожные заболевания на основе изображений более темной кожи — статистически значимое снижение. Дерматологи также с меньшей вероятностью направляли на биопсию изображения темной кожи с CTCL, но с большей вероятностью направляли их на биопсию при нераковых заболеваниях кожи.
«Это исследование ясно демонстрирует, что существуют различия в диагностике кожных заболеваний у темной кожи. Это несоответствие неудивительно; однако я не видел, чтобы оно было продемонстрировано в литературе настолько убедительно. Необходимо провести дальнейшие исследования, чтобы попытаться определить точнее, какими могут быть причинные и смягчающие факторы этого неравенства», — говорит Дженна Лестер, доцент кафедры дерматологии и директор программы «Цвет кожи» в Калифорнийском университете в Сан-Франциско, которая не участвовала в исследовании.
Усиление от ИИ
Оценив работу врачей самостоятельно, исследователи также предоставили им дополнительные изображения для анализа с помощью разработанного ими алгоритма искусственного интеллекта. Исследователи обучили этот алгоритм примерно на 30 000 изображениях, попросив его классифицировать изображения как одно из восьми заболеваний, которые представляют большинство изображений, плюс девятую категорию «другие».
Этот алгоритм имел точность около 47%. Исследователи также создали еще одну версию алгоритма с искусственно завышенным показателем успеха в 84%, что позволило им оценить, повлияет ли точность модели на вероятность того, что врачи примут ее рекомендации.
«Это позволяет нам оценить помощь ИИ с помощью моделей, которые на данный момент являются лучшими, которые мы можем создать, и с помощью ИИ, которая может быть более точной, может быть, через пять лет, с лучшими данными и моделями», — говорит Гро.
Оба эти классификатора одинаково точны как на светлой, так и на темной коже. Исследователи обнаружили, что использование любого из этих алгоритмов искусственного интеллекта повышает точность как для дерматологов (до 60%), так и для врачей общей практики (до 47%).
Они также обнаружили, что врачи с большей вероятностью восприняли предложения алгоритма более высокой точности после того, как он дал несколько правильных ответов, но они редко включали неправильные предложения ИИ. Это говорит о том, что врачи обладают высокой квалификацией в исключении заболеваний и не будут принимать предложения ИИ в отношении болезни, которую они уже исключили, говорит Гро.
«Они очень хорошо умеют не следовать советам ИИ, когда ИИ ошибается, а врачи правы. Это то, что полезно знать», — говорит он.
В то время как дерматологи, использующие искусственный интеллект, продемонстрировали одинаковое увеличение точности при просмотре изображений светлой или темной кожи, врачи общей практики показали большее улучшение при изображении более светлой кожи, чем более темной.
«Это исследование позволяет нам увидеть не только то, как влияет помощь ИИ, но и то, как она влияет на разные уровни знаний», — говорит Гро. «Возможно, дело в том, что у лечащих врачей нет такого большого опыта, поэтому они не знают, следует ли им исключать заболевание или нет, потому что они не так глубоко разбираются в деталях того, как могут возникать различные кожные заболевания . смотрите на разные оттенки кожи».
Исследователи надеются, что их результаты помогут стимулировать медицинские школы и учебники включать больше обучения пациентам с темной кожей . Результаты могут также помочь в развертывании программ помощи ИИ в дерматологии, которые сейчас разрабатывают многие компании.