Microsoft анонсировала новый инструмент для обнаружения и исправления галлюциногенного контента в результатах ИИ

Microsoft представила новый инструмент в сервисе Azure AI Content Safety. Он предназначен для выявления и исправления галлюцинаций в контенте, сгенерированном ИИ.В Microsoft отмечают, что большие языковые модели могут выдавать в результатах неточную или не соответствующую действительности информацию (галлюцинировать).

Новый инструмент будет определять, основаны ли ответы нейросети на выбранных пользователем исходных материалах и ресурсах, и находить галлюцинации.

Microsoft также представила предварительную версию возможности исправления галлюцинаций. Вот как она работает:разработчик приложения включает функцию исправления;при обнаружении информации, которая не соответствует данным в ресурсе, инструмент выделяет её в ответе и отправляет в модель ИИ новый запрос для исправления;модель сравнивает сомнительную информацию с предоставленными ей ресурсами и переписывает её.Microsoft также анонсировала общедоступную предварительную версию гибридной Azure AI Content Safety (AACS), которую можно запускать в облаке и на устройстве.