Allen Institute for AI,University of Washington · pașaport de model
Llama-3.1-Tulu-3-70B-DPO
llama-3-1-tulu-3-70b-dpo- Cea mai bună percentilă
- 28.1GPQA Diamond
- Poziția după scorul compus
- 38.6contractat · 2/27 axe
Acoperire redusă — citește cu prudență
Acest model apare doar pe 2 din 27 axe de benchmark luate în considerare. Poziția generală a fost contractată spre valoarea neutră 50 pentru a reflecta eșantionul mic, și nu a fost afirmat niciun punct slab — o percentilă scăzută pe 2 axe este un artefact al acoperirii, nu o slăbiciune măsurată.
Ce spun datele
Evaluat pe 2 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Pe doar 2 clasament(e), o listă ordonată de puncte forte ar fi o autoritate falsă — în schimb, cifrele pe fiecare axă sunt afișate mai jos, fără verdict.
Neuniform: 13,1 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 28.1 pct pe GPQA Diamond față de 15 pct pe AIME (matematică).
- GPQA Diamond28.1 pct46.3%Verifică →
- AIME (matematică)15 pct4.4%Verifică →
- GeneralNeevaluat
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- SimpleBenchNeevaluat
- LiveBenchNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- MMLU-Pro (Artificial Analysis)Neevaluat
- LiveCodeBench (Artificial Analysis)Neevaluat
- IFBench (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
- ProgramareNeevaluat
- Urmarea instrucțiunilorNeevaluat
- Prompturi dificileNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
Llama-3.1-Tulu-3-70B-DPO stands at 38.6 (raw mean 21.5) — measured on only 2 of 27 axes, so the standing is shrunk toward the neutral 50.
Llama-3.1-Tulu-3-70B-DPO ranks between #333 and #841 across 3 built-in weightings — best under "Universal", worst under "Toate sursele".
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →