Создан метод сжатия больших языковых моделей для мобильных устройств

Текущий способ работы с LLM требует отправки запросов на удаленные серверы, что дорого и требует больших вычислительных мощностей. Новый алгоритм CALDERA позволяет значительно сжать модель, уменьшив избыточность данных и точность обработки. Это дает возможность использовать сжатую модель локально на мобильных устройствах, таких как смартфоны и ноутбуки, без потери в точности выполнения задач.

Основная идея алгоритма заключается в комбинировании двух технологий — «низкой точности» и «низкого ранга». Это позволяет не только снизить требования к вычислительным ресурсам, но и ускорить обработку данных, что важно для использования LLM на устройствах с ограниченными возможностями.

Алгоритм был протестирован и результаты показали улучшение на 5% по сравнению с существующими методами. Это важно, поскольку даже небольшие улучшения могут значительно повысить точность предсказаний при обработке текстов.

Хотя использование сжатых моделей требует меньшего объема памяти и энергии, ученые предупреждают, что такие технологии могут истощить заряд устройства, если их использовать длительное время.