Ученые нашли способ сделать ИИ более эффективным без лишних ресурсов

До недавнего времени считалось, что для повышения точности нейросетей нужно увеличивать количество их параметров. Эта стратегия называется гипотезой «лотерейного билета», и она требует значительных вычислительных мощностей и энергии. Однако ученые обнаружили, что для нейросетей, которые уже имеют избыточное количество параметров, такой подход не всегда эффективен.

Исследования показали, что большие нейросети, имея достаточно ресурсов, могут обучаться быстрее, чем маленькие, что делает избыточные вычислительные мощности менее важными. Это открытие дает надежду на то, что с помощью «обучения по учебной программе» можно сделать ИИ более энергоэффективным. Такой метод предполагает, что система постепенно обучается, начиная с простых примеров и постепенно переходя к более сложным.

Этот подход оказался бесполезен для уже крупных сетей, поскольку они могут научиться на основе имеющихся ресурсов, не нуждаясь в обучении по сложному пути. Однако если начать с меньших сетей, обучение по подобной программе может значительно улучшить результаты, что позволяет оптимизировать использование энергии.