Microsoft представила проект PyRIT для генерации вредоносных запросов при тестировании ИИ-моделей и оценке их реакций
Microsoft выпустила набор инструментов Python Risk Identification Toolkit для генеративного искусственного интеллекта (PyRIT).
Этот инструмент использует команда AI Red Team для проверки рисков в системах искусственного интеллекта, включая Copilot.PyRIT может генерировать тысячи вредоносных запросов для тестирования модели искусственного интеллекта нового поколения и оценивать её реакцию.В 2023 году Microsoft объединила более 60 высокоценных систем искусственного интеллекта, благодаря чему стало ясно, что этот процесс сильно отличается от классической разработки софта или ИИ.
Так, помимо обычных рисков безопасности процесс должен гарантировать, что модель не генерирует вредоносный контент или дезинформацию.Кроме того, модели искусственного интеллекта сильно различаются по архитектуре, и на основе одних и тех же обучающих данных можно получить разные результаты.
Читать на habr.com
