Британский институт проблем безопасности ИИ (AI Safety Institute) открыл свободный доступ к своей новой платформе для тестирования ИИ-моделей.
Платформа под названием Inspect предназначена для тестирования и оценки безопасности моделей искусственного интеллекта. Она представляет собой библиотеку программ для оценки индивидуальных возможностей определённых ИИ-моделей в баллах. Утверждается, что Inspect можно задействовать для анализа различных параметров моделей, включая их «базовые знания, способность делать выводы, автономность».
Инструменты Inspect будут доступны по лицензии с открытым исходным кодом, в том числе MIT.
Платформа включает три основных компонента: наборы данных, инструменты решения и инструменты оценки. Наборы данных предоставляют образцы для оценочных тестов, инструменты решения проводят тесты, а инструменты оценки суммируют баллы тестов в метрики.
Компоненты можно дополнить с помощью сторонних пакетов, написанных на Python. Разработчики надеются, что Inspect будут использовать также для адаптации и развития платформы с открытым исходным кодом для высококачественной оценки.
Председатель Института безопасности искусственного интеллекта Ян Хогарт сказал: «Нас вдохновили некоторые ведущие разработчики ИИ с открытым исходным кодом, в первую очередь такие проекты, как GPT-NeoX, OLMo или Pythia, которые имеют общедоступные данные обучения, а также код обучения и оценки, лицензированный OSI, веса моделей и частично обученные контрольные точки. Это наша попытка внести свой вклад».
Одновременно с запуском AI Safety Institute, Инкубатор ИИ (i.AI) и офис премьер-министра страны привлекут ведущих специалистов в области ИИ из различных областей для быстрого тестирования и разработки новых инструментов безопасности ИИ с
закон
общество
maybeelf