Машинное обучение помогло ученым понять, как мозг порождает сложные человеческие характеристики, раскрывая закономерности мозговой активности, связанные с таким поведением, как рабочая память, такими чертами, как импульсивность, и такими расстройствами, как депрессия. И с помощью этих инструментов ученые могут создавать модели этих отношений, которые затем теоретически можно использовать для прогнозирования поведения и здоровья людей.
Но это работает, только если модели представляют всех, а предыдущие исследования показали, что это не так; для любой модели есть люди, которым эта модель просто не подходит.
В исследовании, опубликованном 24 августа в журнале Nature , исследователи из Йельского университета изучили, кого эти модели склонны терпеть неудачу, почему это происходит и что с этим можно сделать.
Чтобы модели были максимально полезными, они должны применяться к любому конкретному человеку, говорит Эбигейл Грин, доктор медицинских наук. студент Йельской школы медицины и ведущий автор исследования.
«Если мы хотим перенести такую работу, например, в клиническое приложение , нам нужно убедиться, что модель применима к пациенту, сидящему перед нами», — сказала она.
Грин и ее коллеги интересуются тем, как модели могут дать более точную психиатрическую характеристику, которая, по их мнению, может быть достигнута двумя способами. Во-первых, это лучшая категоризация групп пациентов. Диагноз шизофрении, например, включает в себя множество симптомов, и он может выглядеть очень по-разному от человека к человеку. Более глубокое понимание нейронных основ шизофрении, включая ее симптомы и подкатегории, могло бы позволить исследователям более точно группировать пациентов.
Во-вторых, есть такие черты, как импульсивность, общие для разных диагнозов. Понимание нейронной основы импульсивности может помочь клиницистам более эффективно бороться с этим симптомом, независимо от диагноза заболевания, к которому он привязан.
«И оба достижения повлияют на реакцию на лечение», — сказал Грин. «Чем лучше мы сможем понять эти подгруппы людей, которые могут иметь или не иметь одинаковые диагнозы, тем лучше мы сможем адаптировать для них лечение».
Но сначала модели должны быть общедоступными, сказала она.
Чтобы понять, почему модель не работает, Грин и ее коллеги сначала обучили модели, которые могли использовать закономерности мозговой активности, чтобы предсказать, насколько хорошо человек наберет баллы в различных когнитивных тестах. При тестировании модели правильно предсказали, насколько хорошо наберет большинство людей. Но для некоторых людей они были неверны, ошибочно предсказывая, что люди получат плохие оценки, хотя на самом деле они набрали хорошие, и наоборот.
Затем исследовательская группа посмотрела, кого модели не смогли правильно классифицировать.
«Мы обнаружили постоянство — одних и тех же людей неправильно классифицировали по задачам и анализам», — сказал Грин. «И люди, неправильно классифицированные в одном наборе данных, имели что-то общее с теми, кто был неправильно классифицирован в другом наборе данных. Так что в неправильной классификации действительно было что-то значимое».
Затем они попытались выяснить, можно ли объяснить подобные ошибочные классификации различиями в мозге этих людей. Но устойчивых различий не было. Вместо этого они обнаружили, что неправильная классификация была связана с социально-демографическими факторами, такими как возраст и образование, и клиническими факторами, такими как тяжесть симптомов.
В конечном итоге они пришли к выводу, что модели отражали не только когнитивные способности. Вместо этого они отражали более сложные «профили» — своего рода коллажи когнитивных способностей и различных социально-демографических и клинических факторов, объяснил Грин.
«И модели подвели всех, кто не соответствовал этому стереотипному профилю», — сказала она.
Например, модели, использованные в исследовании, связывали более высокий уровень образования с более высокими баллами по когнитивным тестам. Любые люди с низким уровнем образования, которые набрали высокие баллы, не соответствовали профилю модели, и поэтому им часто ошибочно предсказывали низкие баллы.
Сложность проблемы усугублялась тем, что у модели не было доступа к социально-демографической информации.
«Социодемографические переменные встроены в оценку когнитивного теста», — объяснил Грин. По сути, предубеждения в том, как разрабатываются, проводятся, оцениваются и интерпретируются когнитивные тесты, могут просачиваться в получаемые результаты. И предвзятость является проблемой и в других областях; исследование показало, как предвзятость входных данных влияет на модели, используемые, например, в уголовном правосудии и здравоохранении.
«Таким образом, результаты тестов сами по себе представляют собой совокупность когнитивных способностей и других факторов, и модель предсказывает совокупность», — сказал Грин. Это означает, что исследователям нужно более тщательно подумать о том, что на самом деле измеряется данным тестом и, следовательно, о том, что предсказывает модель.
Авторы исследования дают несколько рекомендаций, как смягчить проблему. Они предполагают, что на этапе разработки исследования ученые должны использовать стратегии, которые минимизируют систематическую ошибку и максимизируют достоверность измерений, которые они используют. И после того, как исследователи соберут данные, они должны как можно чаще использовать статистические подходы, корректирующие оставшиеся стереотипные профили.
Принятие этих мер приведет к созданию моделей, которые лучше отражают изучаемый когнитивный конструкт, говорят исследователи. Но они отмечают, что полное устранение предвзятости маловероятно, поэтому это следует учитывать при интерпретации результатов модели. Кроме того, для некоторых измерений может оказаться, что необходимо несколько моделей.
«Наступит момент, когда вам просто понадобятся разные модели для разных групп людей», — сказал Тодд Констебл, профессор радиологии и биомедицинской визуализации Йельской школы медицины и старший автор исследования. «Одна модель не подойдет всем».