DeepSeek · pașaport de model
DeepSeek Coder V2 Lite Instruct
deepseek-coder-v2-lite-instruct- Cea mai bună percentilă
- 19.8LiveCodeBench (Artificial Analysis)
- Poziția după scorul compus
- 32.4contractat · 3/27 axe
Ce spun datele
Evaluat pe 3 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 11.2 pct — MMLU-Pro (Artificial Analysis) (42.9%)
- 13.1 pct — LiveBench (29.2%)
Neuniform: 8,6 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 19.8 pct pe LiveCodeBench (Artificial Analysis) față de 11.2 pct pe MMLU-Pro (Artificial Analysis).
- LiveCodeBench (Artificial Analysis)19.8 pct15.8%Verifică →
- LiveBench13.1 pct29.2%Verifică →
- MMLU-Pro (Artificial Analysis)11.2 pct42.9%Verifică →
- GeneralNeevaluat
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- GPQA DiamondNeevaluat
- AIME (matematică)Neevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- SimpleBenchNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- IFBench (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
- ProgramareNeevaluat
- Urmarea instrucțiunilorNeevaluat
- Prompturi dificileNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
deepseek-coder-v2-lite-instruct stands at 32.4 (raw mean 14.7) — measured on 3 of 27 axes.
deepseek-coder-v2-lite-instruct scores at percentile 11.2 on MMLU-Pro (Artificial Analysis).
deepseek-coder-v2-lite-instruct scores at percentile 13.1 on LiveBench.
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →