Sari la conținut
aiqbench

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Anthropic · pașaport de model

Claude 3 5 Haiku

claude-3-5-haiku
  • Doar în cloud
  • Licență Proprietary
  • Lansat 2024-11-04(curatoriat)
12/27axe acoperite
General · LMArena
1,325#232 din 396
Cea mai bună percentilă
46.8Programare
Poziția în cohortă
36.3mediană 40.4

Ce spun datele

Evaluat pe 12 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.

Cele mai slabe axe

  • 7.2 pct — FrontierMath (0.3%)
  • 14.5 pct — AIME (matematică) (4.3%)

Neuniform: 39,6 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 46.8 pct pe Programare față de 7.2 pct pe FrontierMath.

  • Programare46.8 pct1,386Verifică →
  • IFBench (Artificial Analysis)46.6 pct42.8%Verifică →
  • Urmarea instrucțiunilor44.4 pct1,316Verifică →
  • Prompturi dificile44.4 pct1,346Verifică →
  • General41.7 pct1,325Verifică →
  • LiveCodeBench (Artificial Analysis)40.8 pct31.4%Verifică →
  • LiveBench33.3 pct44.8%Verifică →
  • MMLU-Pro (Artificial Analysis)29.6 pct63.4%Verifică →
  • Vision Arena25.3 pct1,127Verifică →
  • GPQA Diamond19.5 pct38.1%Verifică →
  • AIME (matematică)14.5 pct4.3%Verifică →
  • FrontierMath7.2 pct0.3%Verifică →
  • WebDev ArenaNeevaluat
  • Factuality ArenaNeevaluat
  • Search ArenaNeevaluat
  • Document ArenaNeevaluat
  • Agent ArenaNeevaluat
  • SimpleQA VerifiedNeevaluat
  • ARC-AGI-2Neevaluat
  • Humanity's Last ExamNeevaluat
  • SimpleBenchNeevaluat
  • BFCL v4 (apelare de funcții)Neevaluat
  • SWE-bench Verified (clasament live)Neevaluat
  • Terminal-Bench 4.0Neevaluat
  • Halucinații HHEM (Vectara)Neevaluat
  • SWE-bench VerifiedNeevaluat
  • Terminal-BenchNeevaluat

Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.

  • claude-3-5-haiku-20241022 stands at 36.3 (raw mean 32.9) — measured on 12 of 27 axes.

    pozițieșablonVerifică →

  • claude-3-5-haiku-20241022 stands at 36.3 versus a cohort median of 40.4 across 140 models released within 180 days — below the peer median.

    cohortășablonVerifică →

Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →