«Двойку пока ставлю карандашом!»
OpenAI разработала отдельную модель CriticGPT, которая будет искать ошибки в ответах ChatGPT — изначально «учитель» сосредоточится на фрагментах кода и, как отмечается, станет лишь вспомогательным инструментом для специалистов-людей, которые будут проверять тексты чат-бота вручную.
CriticGPT, созданный на основе семейства языковых моделей GPT-4, дополнительно обучался на наборе образцов кода с намеренно вставленными ошибками и в первых тестах показал себя лучше людей в 63% случаев. Он якобы писал лучшую и более подробную критику, чаще снижая частоту так называемых галлюцинаций у чат-бота.
Во время обучения CriticGPT успешно находил как ошибки, вставленные намеренно людьми, так и ошибки, которые добавлял ChatGPT изначально.
Исследователи OpenAI также создали новую технику Force Sampling Beam Search (FSBS), которая помогает CriticGPT писать более подробные обзоры кода и может быть сбалансирована в зависимости от потребностей обучения модели-критика.
Интересно, что на одном из этапов эксперимента CriticGPT дали проверить ответы, которые люди ранее обозначили как идеальные — и он обнаружил ошибки в 24% случаев (впоследствии они были подтверждены рецензентами). OpenAI считает, что это демонстрирует потенциал модели для проверки задач, не связанных с кодом, и подчеркивает ее способность улавливать «самые тонкие ошибки», которые даже тщательная человеческая проверка может пропустить.
Онлайн-курс «Математика тастатистика для Data Science» від robot_dreams. Навчіться проводити статистичний аналіз даних за допомогою Python та розвиньте математичне мислення для розв’язання реальних завдань Data Science. Детальніше про курс
Несмотря на многообещающие результаты CriticGPT, как и все модели ИИ, имеет
люди
искусственный интеллект
OpenAI