Новый алгоритм поможет снизить энергозатраты ИИ до 95% без потери точности

Учёные из BitEnergy AI предложили новый метод для повышения энергоэффективности работы языковых моделей. В основе исследования лежит алгоритм линейной сложности умножения (L-Mul), который позволяет заменять операции с плавающей точкой на более простые операции сложения целых чисел.

Это решение, по их словам, может значительно сократить потребление энергии при работе с большими нейронными сетями, особенно в трансформерных моделях, таких как ChatGPT.Авторы утверждают, что использование их алгоритма вместо стандартных операций умножения с плавающей точкой позволяет сэкономить до 95% энергии на элементарных умножениях тензоров и до 80% на операциях с матрицами.

В проведённых тестах, замена традиционных умножений на L-Mul практически не ухудшала точность вычислений, а в некоторых случаях даже улучшала результаты на задачах обработки естественного языка и визуальных данных.Энергопотребление стало основным ограничением для развития ИИ, и только GPU, проданные за прошлый год для дата-центров, потребили больше энергии, чем миллион домов за год.