Sari la conținut
aiqbench

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Pașaport de model

Guanaco 33b

guanaco-33b
  • Ponderi deschise
  • Licență Non-commercial
  • Lansat 2023-05-23(curatoriat)
4/27axe acoperite
General · LMArena
1,128#371 din 396
Cea mai bună percentilă
6.6General
Poziția în cohortă
24.1mediană 26.0

Ce spun datele

Evaluat pe 4 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.

Cele mai slabe axe

  • 3.8 pct — Urmarea instrucțiunilor (1,066)
  • 3.8 pct — Programare (1,114)
  • 4.5 pct — Prompturi dificile (1,106)

Neuniform: 2,8 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 6.6 pct pe General față de 3.8 pct pe Urmarea instrucțiunilor.

  • General6.6 pct1,128Verifică →
  • Prompturi dificile4.5 pct1,106Verifică →
  • Programare3.8 pct1,114Verifică →
  • Urmarea instrucțiunilor3.8 pct1,066Verifică →
  • WebDev ArenaNeevaluat
  • Vision ArenaNeevaluat
  • Factuality ArenaNeevaluat
  • Search ArenaNeevaluat
  • Document ArenaNeevaluat
  • Agent ArenaNeevaluat
  • GPQA DiamondNeevaluat
  • AIME (matematică)Neevaluat
  • FrontierMathNeevaluat
  • SimpleQA VerifiedNeevaluat
  • ARC-AGI-2Neevaluat
  • Humanity's Last ExamNeevaluat
  • SimpleBenchNeevaluat
  • LiveBenchNeevaluat
  • BFCL v4 (apelare de funcții)Neevaluat
  • SWE-bench Verified (clasament live)Neevaluat
  • Terminal-Bench 4.0Neevaluat
  • MMLU-Pro (Artificial Analysis)Neevaluat
  • LiveCodeBench (Artificial Analysis)Neevaluat
  • IFBench (Artificial Analysis)Neevaluat
  • Halucinații HHEM (Vectara)Neevaluat
  • SWE-bench VerifiedNeevaluat
  • Terminal-BenchNeevaluat

Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.

  • guanaco-33b stands at 24.1 (raw mean 4.7) — measured on 4 of 27 axes.

    pozițieșablonVerifică →

  • guanaco-33b stands at 24.1 versus a cohort median of 26 across 40 models released within 180 days — below the peer median.

    cohortășablonVerifică →

Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →