Anthropic · pașaport de model
Claude 3 Haiku
claude-3-haiku- Doar în cloud
- Licență Proprietary
- Lansat 2024-03-14(curatoriat)
- General · LMArena
- 1,262#297 din 396
- Cea mai bună percentilă
- 30.2IFBench (Artificial Analysis)
- Poziția în cohortă
- 27.3mediană 31.9
Ce spun datele
Evaluat pe 11 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 7 pct — AIME (matematică) (1.8%)
- 7.3 pct — Vision Arena (1,000)
Neuniform: 23,2 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 30.2 pct pe IFBench (Artificial Analysis) față de 7 pct pe AIME (matematică).
- IFBench (Artificial Analysis)30.2 pct36.1%Verifică →
- SWE-bench Verified (clasament live)27.7 pct40.6%Verifică →
- Programare26.1 pct1,301Verifică →
- Urmarea instrucțiunilor26 pct1,245Verifică →
- General25.3 pct1,262Verifică →
- Prompturi dificile25.3 pct1,266Verifică →
- LiveBench21.3 pct35.4%Verifică →
- LiveCodeBench (Artificial Analysis)19.5 pct15.4%Verifică →
- GPQA Diamond17.2 pct36.3%Verifică →
- Vision Arena7.3 pct1,000Verifică →
- AIME (matematică)7 pct1.8%Verifică →
- WebDev ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- SimpleBenchNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- Terminal-Bench 4.0Neevaluat
- MMLU-Pro (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
claude-3-haiku-20240307 stands at 27.3 (raw mean 21.2) — measured on 11 of 27 axes.
claude-3-haiku-20240307 stands at 27.3 versus a cohort median of 31.9 across 104 models released within 180 days — below the peer median.
claude-3-haiku-20240307 scores in the 7th percentile on AIME (matematică).
claude-3-haiku-20240307 scores at percentile 7.3 on Vision Arena.
claude-3-haiku-20240307 ranks between #288 and #1,016 across 5 built-in weightings — best under "Axat pe programare", worst under "Toate sursele".
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →