Ai21-Labs · pașaport de model

Jamba 1 5 Large

jamba-1-5-large

Ponderi deschise
Licență Jamba Open
Lansat 2024-08-22(curatoriat)

General · LMArena: 1,289#273 din 395
Cea mai bună percentilă: 31.1General
Poziția în cohortă: 34.5mediană 37.7

Ce spun datele

Evaluat pe 6 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.

Neuniform: 13,3 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 31.1 pct pe General față de 17.8 pct pe LiveCodeBench (Artificial Analysis).

General31.1 pct1,289Verifică →
Urmarea instrucțiunilor29.6 pct1,267Verifică →
Prompturi dificile29.4 pct1,284Verifică →
Programare28.7 pct1,312Verifică →
MMLU-Pro (Artificial Analysis)23.4 pct57.2%Verifică →
LiveCodeBench (Artificial Analysis)17.8 pct14.3%Verifică →
WebDev ArenaNeevaluat
Vision ArenaNeevaluat
Factuality ArenaNeevaluat
Search ArenaNeevaluat
Document ArenaNeevaluat
Agent ArenaNeevaluat
GPQA DiamondNeevaluat
AIME (matematică)Neevaluat
FrontierMathNeevaluat
SimpleQA VerifiedNeevaluat
ARC-AGI-2Neevaluat
Humanity's Last ExamNeevaluat
SimpleBenchNeevaluat
LiveBenchNeevaluat
BFCL v4 (apelare de funcții)Neevaluat
SWE-bench Verified (clasament live)Neevaluat
Terminal-Bench 4.0Neevaluat
IFBench (Artificial Analysis)Neevaluat
Halucinații HHEM (Vectara)Neevaluat
SWE-bench VerifiedNeevaluat
Terminal-BenchNeevaluat

Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.

The jamba-1.5-large model from ai21-labs has a shrunk composite score of 34.5 and a raw composite score of 26.7, with scores covering 6 of 27 axes.
pozițieVerifică →
Over the past 180 days, jamba-1.5-large from ai21-labs has a standing of 34.5, compared with a cohort median standing of 37.7 across a cohort of 126 models.
cohortăVerifică →

Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →