Anthropic · pașaport de model
Claude 3 5 Sonnet
claude-3-5-sonnet- Doar în cloud
- Licență Proprietary
- Lansat 2024-06-20(curatoriat)
- General · LMArena
- 1,374#179 din 396
- Cea mai bună percentilă
- 66.2SWE-bench Verified (clasament live)
- Poziția în cohortă
- 45.5mediană 36.2
Ce spun datele
Evaluat pe 14 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 6.5 pct — Humanity's Last Exam (4.1%)
Neuniform: 59,7 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 66.2 pct pe SWE-bench Verified (clasament live) față de 6.5 pct pe Humanity's Last Exam.
- SWE-bench Verified (clasament live)66.2 pct62.8%Verifică →
- LiveBench60.8 pct59.9%Verifică →
- Programare59.6 pct1,436Verifică →
- Urmarea instrucțiunilor58.1 pct1,374Verifică →
- MMLU-Pro (Artificial Analysis)56.6 pct77.2%Verifică →
- Prompturi dificile56.6 pct1,399Verifică →
- General55.1 pct1,374Verifică →
- LiveCodeBench (Artificial Analysis)48.1 pct38.1%Verifică →
- GPQA Diamond37.6 pct55.3%Verifică →
- SimpleBench36.8 pct41.4%Verifică →
- Vision Arena36 pct1,160Verifică →
- AIME (matematică)24.5 pct8.5%Verifică →
- FrontierMath21.7 pct2.1%Verifică →
- Humanity's Last Exam6.5 pct4.1%Verifică →
- WebDev ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- Terminal-Bench 4.0Neevaluat
- IFBench (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
claude-3-5-sonnet-20241022 stands at 45.5 (raw mean 44.6) — measured on 14 of 27 axes.
claude-3-5-sonnet-20241022 stands at 45.5 versus a cohort median of 36.2 across 125 models released within 180 days — above the peer median.
On GPQA Diamond, claude-3-5-sonnet-20241022 raised the running best score by 6.1 percentage points to 55.3% on 2024-06-20.
On OTIS Mock AIME, claude-3-5-sonnet-20241022 raised the running best score by 1.7 percentage points to 8.5% on 2024-06-20.
claude-3-5-sonnet-20241022 scores at percentile 6.5 on Humanity's Last Exam.
claude-3-5-sonnet-20241022 ranks between #126 and #663 across 5 built-in weightings — best under "Axat pe programare", worst under "Toate sursele".
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →