Вы наверняка видели в сети, как пользователи пытаются обмануть чат-боты фразой "забудь все предыдущие инструкции", чтобы заставить их делать что-то смешное.
OpenAI разработала новый метод безопасности, чтобы бороться с этой уязвимостью.Новая технология, получившая название "иерархия инструкций", внедрена в новейшую модель компании - GPT-4o Mini.
Её суть заключается в том, что чат-бот, обученный с помощью этой технологии, всегда будет ставить системные команды разработчика выше пользовательских запросов.Оливье Годман, руководитель разработки API-платформы OpenAI, заверил, что новая технология способна предотвратить подобные манипуляции.
Читать на habr.com