В Chatbot Arena появился режим тестов RepoChat
Разработчики сервиса Chatbot Arena представили режим тестов RepoChat. С его помощью пользователи могут задавать вопросы языковым моделям по содержимому определённого публичного репозитория и выбирать лучшие ответы.Для начала надо перейти во вкладку RepoChat и вставить ссылку на репозиторий.
После этого можно ввести запрос, который относится к содержимому репозитория. Например, можно узнать, как развернуть проект или как настроить локальное окружение для разработки.После этого всё проходит в привычном режиме: две нейросети генерируют ответ, а пользователю надо выбрать лучший вариант.
При этом названия языковых моделей не видно до тех пор, пока не завершится голосование. Это сделано для того, чтобы пользователи сконцентрировались на результате и не появлялось предвзятых оценок.
Читать на habr.com
