Кэширование промптов с учетом провайдера

Superdav AI Agent v1.12.0 представляет кэширование промптов с учетом провайдера (provider-aware prompt caching). Эта функция оптимизирует расходы на API и снижает задержку, кэшируя промпты для работы с разными LLM-провайдерами. У каждого провайдера свои механизмы и настройки кэширования.

Обзор

Кэширование промптов позволяет вам:

Кэшировать большие, часто используемые промпты
Снизить расходы на API, избегая повторной обработки
Улучшить задержку для запросов из кэша
Явно управлять жизненным циклом кэша

Разные провайдеры реализуют кэширование по-разному:

Google Gemini: API cachedContents
Azure OpenAI: Кэширование промптов с TTL
OpenRouter: Кэширование, специфичное для провайдера
Vertex Anthropic: Кэширование промптов с контролем кэша

Google Gemini: API cachedContents

Google Gemini предоставляет явное управление кэшем через API cachedContents.

Конфигурация

$config = [
    'provider' => 'google-gemini',
    'model' => 'gemini-2.0-flash',
    'caching' => [
        'enabled' => true,
        'ttl' => 3600, // 1 час в секундах
        'max_tokens' => 1000000, // Максимальное количество токенов для кэширования
    ],
];

Создание кэшированного промпта

use Superdav\AI\Providers\GoogleGemini;

$gemini = new GoogleGemini( $config );

$cached_content = $gemini->create_cached_content(
    [
        'system_prompt' => 'Вы полезный помощник...',
        'context' => 'Большой контекстный документ...',
        'ttl' => 3600,
    ]
);

// Возвращает: ['cache_id' => 'abc123', 'expires_at' => timestamp]

Использование кэшированного промпта

$response = $gemini->generate(
    [
        'cache_id' => 'abc123',
        'prompt' => 'Вопрос пользователя здесь',
    ]
);

Жизненный цикл кэша

// Список кэшированных содержимых
$caches = $gemini->list_cached_contents();

// Получить детали кэша
$cache = $gemini->get_cached_content( 'abc123' );

// Продлить TTL кэша
$gemini->update_cached_content(
    'abc123',
    ['ttl' => 7200] // Продлить до 2 часов
);

// Удалить кэш
$gemini->delete_cached_content( 'abc123' );

Лучшие практики для Gemini

Устанавливайте подходящий TTL: Найдите баланс между экономией средств и устареванием кэша
Кэшируйте системные промпты: Повторно используйте один и тот же системный промпт для всех запросов
Мониторьте использование кэша: Отслеживайте, какие кэши используются чаще всего
Очищайте просроченные кэши: Периодически удаляйте неиспользуемые кэши

Azure OpenAI: Кэширование промптов

Azure OpenAI поддерживает кэширование промптов с автоматическим управлением TTL.

Конфигурация

$config = [
    'provider' => 'azure-openai',
    'model' => 'gpt-4-turbo',
    'api_version' => '2024-08-01-preview',
    'caching' => [
        'enabled' => true,
        'cache_control' => 'max_age=3600',
    ],
];

Включение кэширования

use Superdav\AI\Providers\AzureOpenAI;

$azure = new AzureOpenAI( $config );

$response = $azure->generate(
    [
        'system_prompt' => 'Вы полезный помощник...',
        'context' => 'Большой контекстный документ...',
        'prompt' => 'Вопрос пользователя здесь',
        'cache_control' => 'max_age=3600',
    ]
);

// В ответ включено использование кэша:
// [
//     'content' => '...',
//     'cache_creation_input_tokens' => 1000,
//     'cache_read_input_tokens' => 500,
// ]

Заголовки кэша

Azure OpenAI использует HTTP-заголовки для управления кэшем:

Cache-Control: max_age=3600

Поддерживаемые значения:

max_age=<seconds>: Кэшировать на указанный срок
no_cache: Не кэшировать этот запрос
no_store: Не кэшировать и не повторно использовать

Мониторинг использования кэша

$response = $azure->generate( [...] );

$cache_tokens = $response['cache_creation_input_tokens'] ?? 0;
$cache_hits = $response['cache_read_input_tokens'] ?? 0;

echo "Создание кэша: $cache_tokens токенов\n";
echo "Попадания в кэш: $cache_hits токенов\n";

Лучшие практики для Azure OpenAI

Используйте последовательные промпты: Идентичные промпты выигрывают от кэширования
Установите разумный TTL: Найдите баланс между стоимостью и актуальностью
Мониторьте метрики кэша: Отслеживайте создание и попадания в кэш
Обрабатывайте запросы пачками: Группируйте запросы, чтобы максимизировать попадания в кэш

OpenRouter: Кэширование, специфичное для провайдера

OpenRouter поддерживает кэширование через базовые провайдеры (OpenAI, Anthropic и т. д.).

Конфигурация

$config = [
    'provider' => 'openrouter',
    'model' => 'openai/gpt-4-turbo',
    'caching' => [
        'enabled' => true,
        'provider_cache' => 'openai', // Используем кэширование OpenAI
    ],
];

Использование кэширования OpenRouter

use Superdav\AI\Providers\OpenRouter;

$router = new OpenRouter( $config );

$response = $router->generate(
    [
        'system_prompt' => 'Вы полезный помощник...',
        'context' => 'Большой контекстный документ...',
        'prompt' => 'Вопрос пользователя здесь',
        'cache_control' => 'max_age=3600',
    ]
);

Опции, специфичные для провайдера

У разных провайдеров разные механизмы кэширования:

// Кэширование, совместимое с OpenAI
$response = $router->generate(
    [
        'model' => 'openai/gpt-4-turbo',
        'cache_control' => 'max_age=3600',
    ]
);

// Кэширование, совместимое с Anthropic
$response = $router->generate(
    [
        'model' => 'anthropic/claude-3-opus',
        'cache_control' => [
            'type' => 'ephemeral',
            'max_tokens' => 1000000,
        ],
    ]
);

Лучшие практики для OpenRouter

Знайте механизмы кэширования провайдера: У каждого провайдера свои механизмы
Тестируйте поведение кэширования: Убедитесь, что кэширование работает с выбранным провайдером
Мониторьте расходы: Отслеживайте экономию средств за счет кэширования
Используйте последовательные модели: Смена моделей прерывает попадания в кэш

Vertex Anthropic: Кэширование промптов с контролем кэша

Vertex Anthropic (Google Cloud) поддерживает кэширование промптов с явным контролем кэша.

Конфигурация

$config = [
    'provider' => 'vertex-anthropic',
    'model' => 'claude-3-opus',
    'project_id' => 'your-gcp-project',
    'region' => 'us-central1',
    'caching' => [
        'enabled' => true,
        'cache_control' => [
            'type' => 'ephemeral',
            'max_tokens' => 1000000,
        ],
    ],
];

Использование кэширования Vertex Anthropic

use Superdav\AI\Providers\VertexAnthropic;

$vertex = new VertexAnthropic( $config );

$response = $vertex->generate(
    [
        'system_prompt' => 'Вы полезный помощник...',
        'context' => 'Большой контекстный документ...',
        'prompt' => 'Вопрос пользователя здесь',
        'cache_control' => [
            'type' => 'ephemeral',
            'max_tokens' => 1000000,
        ],
    ]
);

// В ответ включены метрики кэша:
// [
//     'content' => '...',
//     'usage' => [
//         'input_tokens' => 1000,
//         'cache_creation_input_tokens' => 500,
//         'cache_read_input_tokens' => 300,
//     ],
// ]

Типы контроля кэша

ephemeral: Кэширование на время запроса (по умолчанию)
persistent: Кэширование между несколькими запросами (если поддерживается)

Мониторинг использования кэша

$response = $vertex->generate( [...] );

$usage = $response['usage'];
$cache_created = $usage['cache_creation_input_tokens'] ?? 0;
$cache_read = $usage['cache_read_input_tokens'] ?? 0;

echo "Создано в кэше: $cache_created токенов\n";
echo "Прочитано из кэша: $cache_read токенов\n";

Лучшие практики для Vertex Anthropic

Используйте эфемерное кэширование: Хорошо подходит для кэширования в рамках одной сессии
Устанавливайте max_tokens соответствующим образом: Найдите баланс между размером кэша и стоимостью
Мониторьте метрики кэша: Отслеживайте эффективность кэширования
Тестируйте на вашей рабочей нагрузке: Убедитесь, что кэширование выгодно для вашего случая использования

Стратегия кросс-провайдерного кэширования

Унифицированная конфигурация

$config = [
    'caching' => [
        'enabled' => true,
        'default_ttl' => 3600,
        'providers' => [
            'google-gemini' => [
                'ttl' => 3600,
                'max_tokens' => 1000000,
            ],
            'azure-openai' => [
                'cache_control' => 'max_age=3600',
            ],
            'vertex-anthropic' => [
                'cache_control' => [
                    'type' => 'ephemeral',
                    'max_tokens' => 1000000,
                ],
            ],
        ],
    ],
];

Определение провайдера

$provider = $config['provider'];

$cache_config = $config['caching']['providers'][ $provider ]
    ?? $config['caching'];

// Используем конфигурацию кэширования, специфичную для провайдера

Стратегия отката (Fallback)

try {
    // Попытка кэширования с основным провайдером
    $response = $primary_provider->generate( $request );
} catch ( CacheException $e ) {
    // Откат к запросу без кэширования
    $response = $primary_provider->generate(
        array_merge( $request, ['cache_control' => 'no_cache'] )
    );
}

Оптимизация затрат

Расчет экономии

$cache_created_tokens = $response['cache_creation_input_tokens'] ?? 0;
$cache_read_tokens = $response['cache_read_input_tokens'] ?? 0;
$regular_tokens = $response['input_tokens'] ?? 0;

// Типичная стоимость (зависит от провайдера):
$cache_creation_cost = $cache_created_tokens * 0.00001; // В 10 раз дешевле
$cache_read_cost = $cache_read_tokens * 0.000001; // В 100 раз дешевле
$regular_cost = $regular_tokens * 0.00001;

$total_cost = $cache_creation_cost + $cache_read_cost + $regular_cost;
$savings = ($regular_tokens * 0.00001) - $total_cost;

echo "Ориентировочная экономия: \$$savings\n";

Советы по оптимизации

Кэшируйте большие системные промпты: Самая большая экономия средств
Повторно используйте контекст: Кэшируйте часто используемые контекстные документы
Обрабатывайте запросы пачками: Группируйте похожие запросы, чтобы максимизировать попадания в кэш
Мониторьте эффективность кэша: Отслеживайте фактическую экономию
Настраивайте TTL: Найдите баланс между стоимостью и актуальностью

Устранение неполадок

Кэш не используется

Убедитесь, что кэширование включено в конфигурации
Проверьте, что промпты идентичны (кэширование требует точного совпадения)
Убедитесь, что кэш не истек
Проверьте лимиты кэша, специфичные для провайдера

Ошибка создания кэша

Убедитесь, что размер кэша находится в пределах лимитов провайдера
Проверьте, что синтаксис cache_control корректен
Убедитесь, что провайдер поддерживает кэширование для вашей модели
Изучите документацию провайдера на предмет ограничений

Неожиданные расходы

Мониторьте токены создания кэша против токенов чтения из кэша
Убедитесь, что кэш действительно используется
Проверьте наличие промахов в кэше из-за вариаций промптов
Рассмотрите возможность корректировки TTL или стратегии кэширования

Сравнение провайдеров

Функция	Gemini	Azure OpenAI	OpenRouter	Vertex Anthropic
API кэша	cachedContents	HTTP headers	Provider-specific	Cache control
Управление TTL	Явное	Через заголовки	Зависит от провайдера	Эфемерный/постоянный
Макс. размер кэша	1M токенов	Зависит от провайдера	Зависит от провайдера	1M токенов
Снижение затрат	90%	90%	Зависит от провайдера	90%
Мониторинг	Подробный	Через метрики	Зависит от провайдера	Через использование

Следующие шаги

Выберите провайдера: Выберите в зависимости от ваших потребностей
Настройте кэширование: Настройте кэширование, специфичное для провайдера
Протестируйте кэширование: Убедитесь, что оно работает с вашими промптами
Мониторьте использование: Отслеживайте попадания в кэш и экономию средств
Оптимизируйте: Настройте TTL и стратегию кэширования на основе результатов

Обзор​

Google Gemini: API cachedContents​

Конфигурация​

Создание кэшированного промпта​

Использование кэшированного промпта​

Жизненный цикл кэша​

Лучшие практики для Gemini​

Azure OpenAI: Кэширование промптов​

Конфигурация​

Включение кэширования​

Заголовки кэша​

Мониторинг использования кэша​

Лучшие практики для Azure OpenAI​

OpenRouter: Кэширование, специфичное для провайдера​

Конфигурация​

Использование кэширования OpenRouter​

Опции, специфичные для провайдера​

Лучшие практики для OpenRouter​

Vertex Anthropic: Кэширование промптов с контролем кэша​

Конфигурация​

Использование кэширования Vertex Anthropic​

Типы контроля кэша​

Мониторинг использования кэша​

Лучшие практики для Vertex Anthropic​

Стратегия кросс-провайдерного кэширования​

Унифицированная конфигурация​

Определение провайдера​

Стратегия отката (Fallback)​

Оптимизация затрат​

Расчет экономии​

Советы по оптимизации​

Устранение неполадок​

Кэш не используется​

Ошибка создания кэша​

Неожиданные расходы​

Сравнение провайдеров​

Следующие шаги​

Обзор

Google Gemini: API cachedContents

Конфигурация

Создание кэшированного промпта

Использование кэшированного промпта

Жизненный цикл кэша

Лучшие практики для Gemini

Azure OpenAI: Кэширование промптов

Конфигурация

Включение кэширования

Заголовки кэша

Мониторинг использования кэша

Лучшие практики для Azure OpenAI

OpenRouter: Кэширование, специфичное для провайдера

Конфигурация

Использование кэширования OpenRouter

Опции, специфичные для провайдера

Лучшие практики для OpenRouter

Vertex Anthropic: Кэширование промптов с контролем кэша

Конфигурация

Использование кэширования Vertex Anthropic

Типы контроля кэша

Мониторинг использования кэша

Лучшие практики для Vertex Anthropic

Стратегия кросс-провайдерного кэширования

Унифицированная конфигурация

Определение провайдера

Стратегия отката (Fallback)

Оптимизация затрат

Расчет экономии

Советы по оптимизации

Устранение неполадок

Кэш не используется

Ошибка создания кэша

Неожиданные расходы

Сравнение провайдеров

Следующие шаги