Эффективность ИИ повысилась: новый прорыв в умножении матриц

Матричное умножение предполагает перебор больших чисел, и его эффективность напрямую влияет на производительность ИИ. Традиционно для умножения двух матриц n на n требовалось n³ умножений. Однако новая техника, основанная на «лазерном методе», значительно снижает сложность.

Представьте себе сетку 3×3, представляющую матрицу. Традиционно перемножение двух таких сеток могло потребовать до 27 отдельных вычислений. Новый подход упрощает процесс, сводя к минимуму количество операций, необходимых для чуть более чем двукратного увеличения размера одной стороны квадрата сетки с поправкой на коэффициент 2,371 552. Это значительный скачок к теоретически минимальному количеству необходимых операций.

Заслуга в этом достижении принадлежит исследователям из Университета Цинхуа, Калифорнийского университета в Беркли и Массачусетского технологического института. Они обнаружили «скрытую неэффективность» в существующем лазерном методе, когда важные данные отбрасывались во время вычислений. Усовершенствовав технику маркировки блоков (сегментирование больших матриц для обработки), они значительно сократили эти потери, что привело к более быстрому и эффективному умножению.

Хотя улучшение константы омега (показатель сложности) может показаться небольшим — снижение на 0,0013 по сравнению с 2020 годом, — совокупный эффект будет значительным. Эксперты считают, что это самый большой скачок в эффективности умножения матриц за последнее десятилетие.

Важно отметить, что данное достижение является лишь ступенькой. Ожидается, что дальнейшие исследования позволят усовершенствовать подход и потенциально привести к созданию еще более совершенных алгоритмов.