Anthropic представила функцию кэширования запросов Claude для API

Разработчикам, использующим Anthropic API, стала доступна функция кэширования промптов. Благодаря этому можно сократить количество запросов напрямую к нейросети, снизить затраты до 90% и уменьшить задержки в ответах до 85%.

Кэширование промптов пока доступно в публичной бета-версии Claude 3.5 Sonnet и Claude 3 Haiku. Также поддержка появится в Claude 3 Opus.Кэширование особенно полезно в ситуациях, когда пользователь хочет отправить нейросети большое количество информации для контекста, а затем неоднократно обращаться к ней.

В этом случае система запомнит данные и будет обращаться к ним, а не формировать новые запросы. Например, функцию можно использовать в следующих проектах:Разговорные чат-боты. Скорость работы увеличится, если чат-боту часто передают файлы, документы и длинные запросы.Ассистенты для программистов. Подобные системы традиционно обрабатывают всю кодовую базу проекта, а новая функция позволит кэшировать её.Сложные запросы. Если нейросети нужно будет выполнить несколько действий с одним и тем же набором данных.Анализ книг, статей и документов. Можно передать Claude файл и задавать по нему вопросы.