Sari la conținut
aiqbenchInformații despre AI & calcul cuantic
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre
...Se încarcă sesiunea
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Înapoi la listă
perspectiva aiqbenchCipuri & infrastructură

analiza aiqbench

This incident report details a critical regression in LiteLLM's handling of Anthropic prompt caching when routing Claude Code requests through Amazon Bedrock, causing significant cost increases for users on affected versions. The root cause was an undocumented structural change to system message placement that invalidated cache breakpoints, highlighting the risks of proxy software failing to preserve provider-specific semantic nuances like caching semantics. This event underscores the importance of rigorous regression testing and transparent documentation when managing AI infrastructure gateways where silent cost regressions can occur without breaking functional correctness.
1
Sursă care acoperăLiteLLM Blog

Incident Report: Prompt Cache Invalidation for Claude Code on Bedrock Invoke

LiteLLM Blog·13 iulie 2026·9 min de citit·Articolul și perspectiva sunt în engleză.

De la LiteLLM Blog

Fragment

Date: July 4 to July 10, 2026 Affected versions: v1.91.0 and v1.91.1 Severity: Medium (silent cost regression; no correctness impact) Status: Resolved in v1.91.2

Note: If you run Claude Code against Amazon Bedrock through LiteLLM on either v1.91.0 or v1.91.1, upgrade to v1.91.2 or higher.

Between July 4 and July 10, proxies running v1.91.0 or v1.91.1 silently broke Anthropic prompt caching for Claude Code sessions routed through Amazon Bedrock's Invoke API. For the customers who reported it, warm-session cache hit rates dropped from roughly 90% to 25-45% and team daily spend rose 2-3x for the same usage. Requests kept returning 200s with correct completions; the only symptoms were the cache miss rate and the bill.

The cause: PR #31364 moved every role: "system" entry in messages into the top-level system field on the Invoke path, which invalidates every cache breakpoint past the tool definitions and system prompt. The fix shipped July 10 in v1.91.2 (#32578, #32831, #32882), with regression tests that fail on pre-fix code.

We own this outcome entirely.

Extras afișat conform termenilor RSS ai publicației · 170 cuvinte · textul integral și figurile sunt pe site-ul publicației

Citește pe LiteLLM Blog ↗Întreabă despre acest articol

Subiecte conexe

Comunicații cuantice

WISeQey Advances PKI Modernization as Recent Cyberattacks Highlight the Need to Limit Identity and Credential Risks

WISeKey · 5 nov. 2026

Cipuri & infrastructură

RIKEN Warns Fugaku and RIKYU Users of Possible Personal Data Exposure

HPCwire · 18 nov. 2026

Critical SonicWall Remote Code Execution Vulnerabilities Actively Exploited in Attacks

Cybersecurity News · 2 sept. 2026

New 2CLoader Malware Evades Security Tools to Deploy Vidar and Remus Stealers

Cybersecurity News · 1 oct. 2026

Article info

Source

LiteLLM Blog

Published

13 iulie 2026

Read time

9 min

Category

Cipuri & infrastructură
aiqbench
Informații despre AI & calcul cuantic© aiqbench. Toate drepturile rezervate.

Fluxuri:RSS·JSON Feed

LimbăEnglish·Românăbeta
ȘtiriAI & tehnologieCuanticAnalize
ExploreazăBenchmark-uriÎnvață
CompanieDespreÎncredereInformații legaleTermeni și condițiiPolitica de confidențialitateNotificări privind drepturile de autorȘtergerea datelorRaportează conținut

Perspectiva aiqbench, analizele, rezumatul zilnic și răspunsurile din Întreabă sunt scrise de modele AI din sursele afișate, fără revizuire editorială înainte de publicare. Pot conține erori — verifică sursa. Cum este folosit modelul →

  • Știri
  • Analize
  • Întreabă
  • Topuri
  • Cont