Наука и технологии
Опубликовано 30 марта 2024, 03:48
1 мин.

Ученые представили новый метод обучения ИИ на принципах хаотической динамики

Которая используется в мозге
Ученые из Китая представили новый подход к обучению искусственных нейронных сетей, который внедряет хаотическую динамику, аналогичную той, что обнаружена в мозге. Они утверждают, что такой подход не только повышает эффективность обучения, но и улучшает обобщающую способность сетей на различных наборах данных, как нейроморфные, так и статические.
Ученые представили новый метод обучения ИИ на принципах хаотической динамики
© Ferra

Основной идеей исследования является внедрение в нейронные сети потерь, аналогичных перекрестной энтропии, что создает внутреннюю хаотическую динамику, подобную той, что присутствует в мозге. Они обнаружили, что такой подход значительно улучшает производительность обучения и оптимизации сетей, а также способствует лучшей обобщающей способности на различных наборах данных.

Команда также экспериментировала с введением внешнего хаоса, например, с использованием логистических отображений. Однако это не привело к улучшению производительности обучения нейронных сетей.

Это исследование демонстрирует значимость внутренней хаотической динамики, которая присутствует в мозге, для повышения эффективности его обучения. Новый алгоритм эффективно заполняет пробел между нейронными сетями и традиционными сетями, обладая всего лишь одной дополнительной функцией потерь, которая может быть легко интегрирована в существующие методики обучения.