Учёные из Института искусственного интеллекта AIRI совместно с коллегами из SberAI и «Сколтеха» нашли новое свойство больших языковых моделей и научились контролировать его.
Новое открытие позволит оптимизировать модели на 10–15% без потери в качестве. Также найденное свойство снижает количество вычислительных мощностей, необходимое для их использования.
Статья с исследованиями была принята на конференции в сфере ИИ — ACL 2024 (Main Track, Core A). Как рассказали в AIRI, трансформер представляет собой тип архитектуры моделей, который привёл к революции в развитии ИИ.
Читать на habr.com