Anthropic · pașaport de model
Claude 3 Opus
claude-3-opus- Doar în cloud
- Licență Proprietary
- Lansat 2024-03-04(curatoriat)
- General · LMArena
- 1,322#237 din 396
- Cea mai bună percentilă
- 45.7LiveBench
- Poziția în cohortă
- 32.7mediană 31.5
Ce spun datele
Evaluat pe 13 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 7.3 pct — SimpleQA Verified (12.6%)
- 7.7 pct — SWE-bench Verified (clasament live) (15.8%)
- 14.9 pct — SimpleBench (23.5%)
Neuniform: 38,4 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 45.7 pct pe LiveBench față de 7.3 pct pe SimpleQA Verified.
- LiveBench45.7 pct50.6%Verifică →
- Urmarea instrucțiunilor43.2 pct1,314Verifică →
- Prompturi dificile40.7 pct1,330Verifică →
- General40.4 pct1,322Verifică →
- MMLU-Pro (Artificial Analysis)40.1 pct69.6%Verifică →
- Programare37.6 pct1,355Verifică →
- LiveCodeBench (Artificial Analysis)35.1 pct27.9%Verifică →
- GPQA Diamond29 pct47.2%Verifică →
- Vision Arena16 pct1,061Verifică →
- AIME (matematică)16 pct4.7%Verifică →
- SimpleBench14.9 pct23.5%Verifică →
- SWE-bench Verified (clasament live)7.7 pct15.8%Verifică →
- SimpleQA Verified7.3 pct12.6%Verifică →
- WebDev ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- FrontierMathNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- Terminal-Bench 4.0Neevaluat
- IFBench (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
claude-3-opus-20240229 stands at 32.7 (raw mean 28.7) — measured on 13 of 27 axes.
claude-3-opus-20240229 stands at 32.7 versus a cohort median of 31.5 across 102 models released within 180 days — above the peer median.
On GPQA Diamond, claude-3-opus-20240229 raised the running best score by 4.8 percentage points to 47.2% on 2024-03-04.
On OTIS Mock AIME, claude-3-opus-20240229 raised the running best score by 2.2 percentage points to 4.7% on 2024-03-04.
claude-3-opus-20240229 scores at percentile 7.3 on SimpleQA Verified.
claude-3-opus-20240229 scores at percentile 7.7 on SWE-bench Verified (clasament live).
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →