“Жидкие” нейронные сети, основанные на нервной системе червя, могут трансформировать лежащие в их основе алгоритмы «на лету», придавая им беспрецедентную скорость и адаптивность.
Исследователи искусственного интеллекта отметили ряд успехов с помощью нейронных сетей — компьютерных программ, которые примерно имитируют организацию нашего мозга. Но, несмотря на быстрый прогресс, нейронные сети остаются относительно негибкими, практически не способными меняться на лету или приспосабливаться к незнакомым обстоятельствам.
В 2020 году два исследователя из Массачусетского технологического института возглавили команду, которая представила новый вид нейронной сети, основанный на реальном интеллекте — но не на нашем собственном. Вместо этого они черпали вдохновение у крошечного круглого червя Caenorhabditis elegans, чтобы создать то, что они назвали жидкими нейронными сетями. После прошлогоднего прорыва новые сети теперь могут быть достаточно универсальными, чтобы заменить свои традиционные аналоги для определенных приложений.
Жидкие нейронные сети предлагают “элегантную и компактную альтернативу”, — сказал Кен Голдберг, специалист по робототехнике из Калифорнийского университета в Беркли. Он добавил, что эксперименты уже показывают, что эти сети могут работать быстрее и точнее, чем другие так называемые нейронные сети непрерывного времени, которые моделируют системы, изменяющиеся с течением времени.
Рамин Хасани и Матиас Лехнер, вдохновители нового дизайна, много лет назад поняли, что C. elegans может стать идеальным организмом для изучения того, как создавать устойчивые нейронные сети, способные реагировать на неожиданности. Донный фидер длиной в миллиметр — одно из немногих существ с полностью сформированной нервной системой, и оно способно к целому ряду сложных форм поведения: передвигаться, находить пищу, спать, спариваться и даже учиться на собственном опыте. “Он живет в реальном мире, где постоянно происходят изменения, и может хорошо работать практически в любых условиях”, — сказал Лехнер.
Уважение к скромному червю привело его и Хасани к их новым жидкостным сетям, где каждый нейрон управляется уравнением, которое предсказывает его поведение с течением времени. И точно так же, как нейроны связаны друг с другом, эти уравнения зависят друг от друга. Сеть, по сути, решает весь этот ансамбль связанных уравнений, позволяя ей характеризовать состояние системы в любой данный момент — отход от традиционных нейронных сетей, которые выдают результаты только в определенные моменты времени.
“[Они] могут сказать вам, что происходит, только за одну, две или три секунды”, — сказал Лехнер. “Но модель непрерывного времени, подобная нашей, может описать происходящее за 0,53 секунды, 2,14 секунды или любое другое время, которое вы выберете”.
Жидкостные сети также отличаются тем, как они обрабатывают синапсы, соединения между искусственными нейронами. Сила этих связей в стандартной нейронной сети может быть выражена одним числом — ее весом. В жидкостных сетях обмен сигналами между нейронами является вероятностным процессом, управляемым “нелинейной” функцией, что означает, что реакции на входные данные не всегда пропорциональны. Например, удвоение входных данных может привести к гораздо большему или меньшему сдвигу в выходных данных. Эта встроенная изменчивость является причиной того, что сети называются “ликвидными”. Способ реакции нейрона может варьироваться в зависимости от входных данных, которые он получает.
На изображении тела ЧЕРВЯ: Матиас Лехнер (слева) и Рамин Хасани представили новый вид гибкой нейронной сети, основанной на нервной системе червя Caenorhabditis elegans. Фото любезно предоставлено Рамином Хасани.
В то время как алгоритмы, лежащие в основе традиционных сетей, устанавливаются во время обучения, когда в эти системы поступают большие объемы данных для калибровки наилучших значений их весов, жидкие нейронные сети более адаптируемы. “Они способны изменять свои базовые уравнения на основе входных данных, которые они наблюдают”, в частности, изменяя скорость реакции нейронов, — сказала Даниэла Рус, директор лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института.
Одним из первых тестов, продемонстрировавших эту способность, была попытка управлять автономным автомобилем. Обычная нейронная сеть могла анализировать визуальные данные с камеры автомобиля только через определенные промежутки времени. Сеть liquid, состоящая из 19 нейронов и 253 синапсов (что делает ее крошечной по стандартам машинного обучения), могла бы быть гораздо более отзывчивой. “Наша модель может выполнять выборки чаще, например, когда дорога извилистая”, — сказал Рус, соавтор этой и нескольких других работ по жидкостным сетям.
Модель успешно удерживала машину на трассе, но у нее был один недостаток, сказал Лехнер: “Она была действительно медленной”. Проблема возникла из—за нелинейных уравнений, представляющих синапсы и нейроны, — уравнений, которые обычно не могут быть решены без повторных вычислений на компьютере, который проходит множество итераций, прежде чем в конечном итоге прийти к решению. Эта работа обычно делегируется специализированным программным пакетам, называемым решателями, которые необходимо применять отдельно к каждому синапсу и нейрону.
В прошлогодней статье команда представила новую нейронную сеть liquid, которая позволила обойти это узкое место. Эта сеть опиралась на уравнения того же типа, но ключевым достижением стало открытие Хасани, что эти уравнения не нужно решать с помощью сложных компьютерных вычислений. Вместо этого сеть могла бы функционировать, используя почти точное, или “закрытую форму”, решение, которое, в принципе, можно было бы разработать с помощью карандаша и бумаги. Как правило, эти нелинейные уравнения не имеют решений в замкнутой форме, но Хасани нашел приближенное решение, которое было достаточно хорошим для использования.
“Наличие решения в закрытой форме означает, что у вас есть уравнение, для которого вы можете ввести значения его параметров и выполнить базовую математику, и вы получите ответ”, — сказал Рус. “Вы получите ответ одним выстрелом”, вместо того чтобы позволять компьютеру работать до тех пор, пока он не решит, что он достаточно близок. Это сокращает время и энергию вычислений, значительно ускоряя процесс.
“Их метод превосходит конкурентов на несколько порядков без ущерба для точности”, — сказал Саян Митра, специалист по информатике из Университета Иллинойса в Урбана-Шампейн.
По словам Хасани, их новейшие сети не только быстрее, но и необычайно стабильны, что означает, что система может обрабатывать огромные входные данные без сбоев. “Главный вклад здесь заключается в том, что стабильность и другие приятные свойства заложены в эти системы благодаря их чистой структуре”, — сказал Шрирам Шанкаранараянан, специалист по информатике из Университета Колорадо в Боулдере. Сети Liquid, по-видимому, работают в том, что он назвал “приятным местом”: они достаточно сложны, чтобы позволять происходить интересным вещам, но не настолько сложны, чтобы приводить к хаотичному поведению».
NETWORKING: Liquid neural networks are more adaptable than standard neural networks. “They’re able to change their underlying equations based on the input they observe,” said Daniela Rus, who helped create and analyze the new networks. Photo by Daniel Jackson./СЕТЕВОЕ ВЗАИМОДЕЙСТВИЕ: Жидкие нейронные сети более адаптируемы, чем стандартные нейронные сети. “Они способны изменять свои базовые уравнения на основе наблюдаемых входных данных”, — сказала Даниэла Рус, которая помогала создавать и анализировать новые сети. Фото Дэниела Джексона.
В данный момент группа Массачусетского технологического института тестирует свою новейшую сеть на автономном воздушном дроне. Хотя беспилотник был обучен ориентироваться в лесу, они перенесли его в городскую среду Кембриджа, чтобы посмотреть, как он справляется с новыми условиями. Лехнер назвал предварительные результаты обнадеживающими.
Помимо доработки текущей модели, команда также работает над улучшением архитектуры своей сети. Следующий шаг, по словам Лехнера, “заключается в том, чтобы выяснить, сколько или как мало нейронов нам на самом деле нужно для выполнения заданной задачи”. Группа также хочет разработать оптимальный способ соединения нейронов. В настоящее время каждый нейрон связан со всеми другими нейронами, но у C. elegans это работает по-другому, где синаптические связи более избирательны. Посредством дальнейших исследований проводящей системы круглого червя они надеются определить, какие нейроны в их системе должны быть соединены вместе.
Помимо таких приложений, как автономное вождение и полет, liquid networks, по-видимому, хорошо подходят для анализа электросетей, финансовых транзакций, погоды и других явлений, которые изменяются с течением времени. Кроме того, по словам Хасани, последняя версия liquid networks может быть использована “для моделирования мозговой активности в масштабах, ранее неосуществимых”. Митра особенно заинтригован такой возможностью. “В некотором смысле, это своего рода поэтично, показывая, что это исследование, возможно, проходит полный цикл”, — сказал он. “Нейронные сети развиваются до такой степени, что те самые идеи, которые мы почерпнули из природы, вскоре могут помочь нам лучше понять природу”.
Эта статья была первоначально опубликована в блоге Quanta Abstractions. Автор изображения: Кристина Армитидж / журнал Quanta; источник: Фрэнк Фокс / Science. Источник: https://nautil.us/researchers-discover-a-more-flexible-approach-to-machine-learning-261703/?_sp=02c55139-9dbb-4d2b-b982-9ac0a0947311.1679843343691