Исследователи создали инструмент искусственного интеллекта, который использует последовательности жизненных событий — таких как история болезни, образование, работа и доход — для прогнозирования всего, от личности человека до его смертности.
Созданный с использованием моделей transformer, которые поддерживают большие языковые модели (LLM), такие как ChatGPT, новый инструмент life2vec обучается на наборе данных, собранных со всего населения Дании — 6 миллионов человек. Датское правительство предоставило набор данных только исследователям.
Инструмент, созданный исследователями на основе этого сложного набора данных, способен предсказывать будущее, включая продолжительность жизни отдельных людей, с точностью, превосходящей самые современные модели. Но, несмотря на его прогностическую силу, команда, стоящая за исследованием, говорит, что его лучше всего использовать в качестве основы для будущей работы, а не как самоцель.
«Несмотря на то, что мы используем прогнозирование для оценки того, насколько хороши эти модели, этот инструмент не следует использовать для прогнозирования реальных людей», — говорит Тина Элиасси-Рад, профессор компьютерных наук и первый президент Джозеф Э. Профессор Аун в Северо-Восточном университете. «Это модель прогнозирования, основанная на конкретном наборе данных конкретной популяции».
Tina Eliassi-Rad, professor of computer science and inaugural Joseph E. Aoun Professor at Northeastern University. Credit: Matthew Modoono/Northeastern University/Тина Элиасси-Рад, профессор компьютерных наук и первый Джозеф Э. Профессор Северо-Восточного университета. Автор: Мэтью Модоно/Северо-Восточный университет
Элиасси-Рад привнесла в проект свой опыт в области этики искусственного интеллекта. «Эти инструменты позволяют вам по-другому взглянуть на свое общество: на политику, которая у вас есть, на правила и предписания, которые у вас есть», — говорит она. «Вы можете думать об этом как о сканировании того, что происходит на земле».
Привлекая социологов к процессу создания этого инструмента, команда надеется, что это привнесет ориентированный на человека подход к разработке искусственного интеллекта, который не упустит из виду людей среди огромного набора данных, на которых был обучен их инструмент.
«Эта модель предлагает гораздо более полное отражение мира, в котором живут люди, чем многие другие модели», — говорит Сун Леманн, автор статьи, которая недавно была опубликована в Nature Computational Science. Краткий обзор исследования по этой теме представлен в том же номере журнала.
В основе life2vec лежит огромный набор данных, который исследователи использовали для обучения своей модели. Данные хранятся в Статистическом управлении Дании, центральном органе датской статистики, и, несмотря на жесткое регулирование, могут быть доступны некоторым представителям общественности, включая исследователей. Причина, по которой он так жестко контролируется, заключается в том, что он включает в себя подробный реестр каждого гражданина Дании.
Множество событий и элементов, составляющих жизнь и отраженных в данных, от факторов здоровья и образования до дохода. Исследователи использовали эти данные для создания длинных цепочек повторяющихся жизненных событий, которые были включены в их модель, используя подход трансформаторной модели, используемый для обучения LLM языку, и адаптируя его к человеческой жизни, представленной в виде последовательности событий.
«Всю историю человеческой жизни, в некотором смысле, также можно рассматривать как гигантское длинное предложение о многих вещах, которые могут случиться с человеком», — говорит Леманн, профессор сетей и науки о сложности в DTU Compute, Техническом университете Дании, а ранее аспирант Северо-Восточного университета..
Модель использует информацию, которую она извлекает из наблюдений за миллионами последовательностей жизненных событий, для построения так называемых векторных представлений в пространствах встраивания, где она начинает классифицировать и устанавливать связи между жизненными событиями, такими как доход, образование или факторы здоровья. Эти вложенные пространства служат основой для прогнозов, которые в конечном итоге делает модель.
Одним из жизненных событий, которые предсказали исследователи, была вероятность смерти человека.
«Когда мы визуализируем пространство, которое модель использует для составления прогнозов, оно выглядит как длинный цилиндр, который переносит вас от низкой вероятности смерти к высокой вероятности смерти», — говорит Леманн. «Тогда мы сможем показать, что в конце концов там, где существует высокая вероятность смерти, многие из этих людей действительно умерли, и в конце концов там, где вероятность смерти низкая, причины смерти — это то, что мы не могли предсказать, например, автомобильные аварии».
В статье также показано, как модель способна предсказывать индивидуальные ответы на стандартный личностный опросник, особенно когда речь заходит об экстраверсии.
Элиасси-Рад и Леманн отмечают, что, хотя модель дает высокоточные прогнозы, они основаны на корреляциях, весьма специфичных культурных и социальных контекстах и видах предубеждений, которые существуют в каждом наборе данных.
«Этот инструмент похож на обсерваторию общества — и не всех обществ», — говорит Элиасси-Рад. «Это исследование проводилось в Дании, а в Дании своя культура, свои законы и свои социальные правила. Можно ли это сделать в Америке — это уже другая история».
Учитывая все эти предостережения, Элиасси-Рад и Леманн рассматривают свою прогностическую модель не столько как конечный продукт, сколько как начало разговора. Леманн говорит, что крупные технологические компании, вероятно, годами создавали подобные алгоритмы прогнозирования в закрытых помещениях. Он надеется, что эта работа поможет создать более открытое общественное понимание того, как работают эти инструменты, на что они способны и как их следует и не следует использовать.
фото: Built using the same transformer models powering other large language models, a new AI tool is able to predict events in human lives, researchers say. Credit: Matthew Modoono/Northeastern University/Исследователи говорят, что новый инструмент искусственного интеллекта, созданный с использованием тех же моделей-трансформеров, которые питают другие большие языковые модели, способен предсказывать события в жизни людей. Автор: Мэтью Модоно/Северо-Восточный университет
от: by Cody Mello-Klein, Northeastern University
More information: Germans Savcisens et al, Using sequences of life-events to predict human lives, Nature Computational Science (2023). DOI: 10.1038/s43588-023-00573-5
A transformer method that predicts human lives from sequences of life events, Nature Computational Science (2023). DOI: 10.1038/s43588-023-00586-0