Сможно ли с помощью компьютерных моделей предсказать жизненный путь ребенка, например, его будущий средний балл?
Теоретически эта идея не является нелепой. В современном цифровом мире алгоритмы часто обучаются предсказывать результаты лечения пациентов или вероятность того, что кто-то вернет свои кредиты. Поэтому группа исследователей задались вопросом, может ли такой анализ помочь предсказать — и в конечном итоге смягчить — будущие трудности детей, особенно из семей с меньшими ресурсами.
С этой целью ученые проанализировали данные о более чем 4000 американских семьях, собранные за 15 лет, начиная с рождения ребенка, включая информацию о детях, их родителях, школах и стабильности их окружения. Исследователи взяли данные за первые девять лет и попытались предсказать шесть ключевых академических и личных результатов для детей, когда им исполнится 15 лет. Но такие вещи, как академическая успеваемость и семейные трудности, по-видимому, более непостоянны, чем многие другие компьютерные прогнозы. В 2020 году команда опубликовала свои выводы . «К нашему удивлению, прогнозы оказались не очень точными», — говорит Ян Лундберг, социолог из Калифорнийского университета в Лос-Анджелесе, который был одним из соавторов статьи 2020 года. «Поэтому это заставило нас задуматься: почему?»
В новом исследовании Лундберг и его коллеги углубились в то, почему более раннее исследование не смогло точно предсказать результаты детей, сосредоточившись на среднем балле. Они снова связались с 40 семьями, которые были включены в набор данных, и подробно опросили их, чтобы узнать больше о нюансах их жизни, которые были упущены в цифрах. Результаты, опубликованные ранее в этом году в Proceedings of the National Academy of Sciences , предполагают, что недостатки в прогнозировании результатов были связаны не только с отсутствием данных или вычислительными ограничениями. Скорее, существует фундаментальное ограничение нашей способности предсказывать сложности жизни.
«На самом деле вернуться назад и попытаться понять причины неудовлетворительных результатов, особенно в отношении выбросов… — это действительно инновационная часть исследования», — говорит Рамина Сотоудех, социолог из Йельского университета, которая не принимала участия в новом исследовании.
Наша способность предсказывать сложности жизни имеет фундаментальное ограничение.
Авторы исследования отмечают, что эта неудача прогнозирования может быть связана с двумя основными источниками. Во-первых, это то, что называется неустранимой ошибкой. Примером этого является неожиданное событие, которое может произойти с ребенком в подростковом возрасте, которое нельзя предвидеть с помощью такого фактора, как доход, — что-то вроде смерти родителя, говорит Лундберг. «В этом случае на самом деле нет машинного обучения или вычислительных методов, которые могли бы улучшить прогноз», — добавляет он.
Вторая — ошибка обучения: ошибки в процессе обучения алгоритма. Виды результатов, которые ученые пытались измерить — оценки, упорство , выселение, семейные трудности — зависят от множества различных переменных, которые могут формировать закономерности, которые алгоритм может изучить и затем использовать для прогнозирования результата. Но когда переменных слишком много, иногда алгоритмы могут изучить неправильную закономерность, говорит Лундберг. Этот тип ошибки обучения можно уменьшить с большим количеством людей. Но для долгосрочных лонгитюдных исследований, подобных этому, трудно привлечь к участию более нескольких тысяч человек. «Это фундаментальная проблема [изучения] сложности», — говорит Сотоудех.
Новые результаты также подчеркивают ценность качественного исследования — проведение интервью и разговоры с людьми могут дать понимание, которое количественный подход не может дать. Некоторые качественные наблюдения, сделанные социологами, например, как люди взаимодействуют и формируют отношения, трудно перевести в число, говорит Сотоуде, и также могут влиять на результаты.
Для Лундберга погружение в качественную сторону этого исследования стало открытием, хотя он провел много времени, изучая исходный набор данных. Новое исследование, в качестве примера, освещает историю «Беллы» (псевдоним участницы исследования). У нее было стабильное детство, и по переменным, которые измеряли исследователи, казалось, что она будет стремиться к высокому среднему баллу в подростковом возрасте. Но в возрасте от 9 до 15 лет отец Беллы неожиданно умер, а ее мать впала в депрессию; у Беллы начались трудности в учебе и в обществе — из-за этих факторов, которые не были отражены в данных.
Существует сильное желание предвидеть, что произойдет в будущем, будь то для вас или для ваших близких, и мы часто делаем это, используя наше собственное человеческое суждение, говорит Лундберг. «Растет интерес к идее, что компьютеры могут помочь нам делать это более точно… Но самым важным выводом нашего исследования является то, что мы не должны по умолчанию полагаться на веру в то, что все результаты станут предсказуемыми с ростом вычислительной мощности», — говорит он.
«Ответ не всегда заключается в большем количестве данных», — вторит Сотоуде. «Социальные результаты непредсказуемы и сложны. И нам просто нужно смириться с этой непредсказуемостью».
Главное изображение: Йорм Сангсорн / Shutterstock