Microsoft представила Windows Agent Arena — бенчмарк для тестирования ИИ-агентов
Microsoft Research представила бенчмарк Windows Agent Arena для тестирования агентов генеративного искусственного интеллекта на ПК с Windows.
Решение разработали для проверки того, насколько хорошо и быстро ИИ-агенты могут взаимодействовать с Windows-приложениями.Windows Agent Arena протестировали с браузерами Microsoft Edge и Google Chrome, функциями операционной системы, включая проводник, приложения для кодирования, простое предустановленное программное обеспечение Windows, такое как «Блокнот», «Часы» и Paint, и просмотр видео при помощи VLC Player.Корпорация пишет, что адаптирует фреймворк OSWorld для создания более 150 разнообразных задач Windows в репрезентативных доменах, которые требуют возможности агента в планировании, понимании экрана и использовании инструментов.
Бенчмарк компании масштабируется и может быть распараллелен в Azure для полной оценки всего за 20 минут.Microsoft Research также создала свой мультимодальный агент под названием Navi для тестирования в Windows Agent Arena.
Читать на habr.com