технологии происшествия общество
/ habr.com

«Игнорировать все инструкции» больше не работает: что придумала OpenAI?

Вы наверняка видели в сети, как пользователи пытаются обмануть чат-боты фразой "забудь все предыдущие инструкции", чтобы заставить их делать что-то смешное.

OpenAI разработала новый метод безопасности, чтобы бороться с этой уязвимостью.Новая технология, получившая название "иерархия инструкций", внедрена в новейшую модель компании - GPT-4o Mini.

Её суть заключается в том, что чат-бот, обученный с помощью этой технологии, всегда будет ставить системные команды разработчика выше пользовательских запросов.Оливье Годман, руководитель разработки API-платформы OpenAI, заверил, что новая технология способна предотвратить подобные манипуляции.

Читать на habr.com
Сайт imag.one - агрегатор новостей из открытых источников. Источник указан в начале и в конце анонса. Вы можете пожаловаться на новость, если находите её недостоверной.

Сейчас читают

DMCA