Mistral · pașaport de model
Mistral 7b Instruct
mistral-7b-instruct- Ponderi deschise
- Licență Apache 2.0
- Lansat 2023-09-27(curatoriat)
- General · LMArena
- 1,110#379 din 396
- Cea mai bună percentilă
- 5.6Prompturi dificile
- Poziția în cohortă
- 18.0mediană 26.5
Ce spun datele
Evaluat pe 7 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 2.6 pct — MMLU-Pro (Artificial Analysis) (24.5%)
- 3.1 pct — IFBench (Artificial Analysis) (19.9%)
- 3.8 pct — LiveCodeBench (Artificial Analysis) (4.6%)
Neuniform: 3 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 5.6 pct pe Prompturi dificile față de 2.6 pct pe MMLU-Pro (Artificial Analysis).
- Prompturi dificile5.6 pct1,115Verifică →
- Urmarea instrucțiunilor5.3 pct1,087Verifică →
- Programare5.1 pct1,145Verifică →
- General4.5 pct1,110Verifică →
- LiveCodeBench (Artificial Analysis)3.8 pct4.6%Verifică →
- IFBench (Artificial Analysis)3.1 pct19.9%Verifică →
- MMLU-Pro (Artificial Analysis)2.6 pct24.5%Verifică →
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- GPQA DiamondNeevaluat
- AIME (matematică)Neevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- SimpleBenchNeevaluat
- LiveBenchNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
mistral-7b-instruct stands at 18 (raw mean 4.3) — measured on 7 of 27 axes.
mistral-7b-instruct stands at 18 versus a cohort median of 26.5 across 62 models released within 180 days — below the peer median.
mistral-7b-instruct scores at percentile 2.6 on MMLU-Pro (Artificial Analysis).
mistral-7b-instruct scores at percentile 3.1 on IFBench (Artificial Analysis).
mistral-7b-instruct ranks between #394 and #1,032 across 5 built-in weightings — best under "Conversație pe primul loc", worst under "Toate sursele".
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →