Разработчики проекта Chatbot Arena выпустили Copilot Arena — инструмент оценки чат-ботов для генерации кода. С его помощью пользователи могут сравнить результат работы нескольких нейросетевых «вторых пилотов» и выбрать лучший.Copilot Arena представляет собой расширение для Visual Studio Code, а процесс работы похож на обычное взаимодействие.
Для запуска пользователю нужно указать запрос, а расширение направит его двум языковым моделям. После этого на экране появятся два варианта, среди которых надо выбрать лучший.
Благодаря этому голосованию система будет формировать рейтинг чат-ботов.Важно отметить, что во время голосования пользователи не видят, над каким из фрагментов кода, какая модель трудилась.
Читать на habr.com