Mistral · pașaport de model
Mistral Large 2 (Nov '24)
mistral-large-2- Cea mai bună percentilă
- 40.8MMLU-Pro (Artificial Analysis)
- Poziția după scorul compus
- 41.4contractat · 3/27 axe
Ce spun datele
Evaluat pe 3 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Neuniform: 21 de puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 40.8 pct pe MMLU-Pro (Artificial Analysis) față de 19.8 pct pe IFBench (Artificial Analysis).
- MMLU-Pro (Artificial Analysis)40.8 pct69.7%Verifică →
- LiveCodeBench (Artificial Analysis)37.8 pct29.3%Verifică →
- IFBench (Artificial Analysis)19.8 pct31.6%Verifică →
- GeneralNeevaluat
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- GPQA DiamondNeevaluat
- AIME (matematică)Neevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- SimpleBenchNeevaluat
- LiveBenchNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
- ProgramareNeevaluat
- Urmarea instrucțiunilorNeevaluat
- Prompturi dificileNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
Mistral Large 2 (Nov '24) stands at 41.4 (raw mean 32.8) — measured on 3 of 27 axes.
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →