ପ୍ରଦାତା-ସଚେତନ ପ୍ରମ୍ପ୍ଟ କ୍ୟାଶିଂ
Superdav AI Agent v1.12.0 ପ୍ରଦାତା-ସଚେତନ ପ୍ରମ୍ପ୍ଟ କ୍ୟାଶିଂ ଆଣିଛି, ଯାହା ଭିନ୍ନ LLM ପ୍ରଦାତାମାନଙ୍କ ମଧ୍ୟରେ ପ୍ରମ୍ପ୍ଟ କ୍ୟାଶ୍ କରି API ଖର୍ଚ୍ଚ ଓ ବିଳମ୍ବକୁ ଅପ୍ଟିମାଇଜ୍ କରେ। ପ୍ରତ୍ୟେକ ପ୍ରଦାତାଙ୍କର ଭିନ୍ନ କ୍ୟାଶିଂ ପ୍ରଣାଳୀ ଓ ବିନ୍ୟାସ ଅଛି।
ସାରାଂଶ
ପ୍ରମ୍ପ୍ଟ କ୍ୟାଶିଂ ଆପଣଙ୍କୁ ଏହା କରିବାକୁ ଦେଇଥାଏ:
- ବଡ଼, ବାରମ୍ବାର ବ୍ୟବହୃତ ପ୍ରମ୍ପ୍ଟଗୁଡ଼ିକୁ କ୍ୟାଶ୍ କରନ୍ତୁ
- ଅନାବଶ୍ୟକ ପ୍ରକ୍ରିୟାକରଣ ଏଡ଼ାଇ API ଖର୍ଚ୍ଚ କମାନ୍ତୁ
- କ୍ୟାଶ୍ ହୋଇଥିବା ଅନୁରୋଧ ପାଇଁ ବିଳମ୍ବ କମାନ୍ତୁ
- କ୍ୟାଶ୍ ଜୀବନଚକ୍ରକୁ ସ୍ପଷ୍ଟଭାବେ ପରିଚାଳନା କରନ୍ତୁ
ଭିନ୍ନ ପ୍ରଦାତାମାନେ କ୍ୟାଶିଂକୁ ଭିନ୍ନ ଭାବରେ କାର୍ଯ୍ୟକର କରନ୍ତି:
- Google Gemini:
cachedContentsAPI - Azure OpenAI: TTL ସହିତ ପ୍ରମ୍ପ୍ଟ କ୍ୟାଶିଂ
- OpenRouter: ପ୍ରଦାତା-ନିର୍ଦ୍ଦିଷ୍ଟ କ୍ୟାଶିଂ
- Vertex Anthropic: କ୍ୟାଶ୍ ନିୟନ୍ତ୍ରଣ ସହିତ ପ୍ରମ୍ପ୍ଟ କ୍ୟାଶିଂ
Google Gemini: cachedContents API
Google Gemini cachedContents API ମାଧ୍ୟମରେ ସ୍ପଷ୍ଟ କ୍ୟାଶ୍ ପରିଚାଳନା ଦେଇଥାଏ।
ବିନ୍ୟାସ
$config = [
'provider' => 'google-gemini',
'model' => 'gemini-2.0-flash',
'caching' => [
'enabled' => true,
'ttl' => 3600, // 1 hour in seconds
'max_tokens' => 1000000, // Max tokens to cache
],
];
କ୍ୟାଶ୍ ହୋଇଥିବା ପ୍ରମ୍ପ୍ଟ ସୃଷ୍ଟି କରିବା
use Superdav\AI\Providers\GoogleGemini;
$gemini = new GoogleGemini( $config );
$cached_content = $gemini->create_cached_content(
[
'system_prompt' => 'You are a helpful assistant...',
'context' => 'Large context document...',
'ttl' => 3600,
]
);
// Returns: ['cache_id' => 'abc123', 'expires_at' => timestamp]
କ୍ୟାଶ୍ ହୋଇଥିବା ପ୍ରମ୍ପ୍ଟ ବ୍ୟବହାର କରିବା
$response = $gemini->generate(
[
'cache_id' => 'abc123',
'prompt' => 'User question here',
]
);