Nvidia · pașaport de model
Llama 3 1 Nemotron Ultra 253b V1
llama-3-1-nemotron-ultra-253b-v1- Ponderi deschise
- Licență Nvidia Open Model
- 253.4B parametri
- Lansat 2025-04-08(curatoriat)
- General · LMArena
- 1,348#204 din 396
- Cea mai bună percentilă
- 81.3MMLU-Pro (Artificial Analysis)
- Poziția în cohortă
- 49.1mediană 47.8
Ce spun datele
Evaluat pe 8 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 2.4 pct — BFCL v4 (apelare de funcții) (10.0%)
Neuniform: 78,9 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 81.3 pct pe MMLU-Pro (Artificial Analysis) față de 2.4 pct pe BFCL v4 (apelare de funcții).
- MMLU-Pro (Artificial Analysis)81.3 pct82.5%Verifică →
- LiveCodeBench (Artificial Analysis)67.9 pct64.1%Verifică →
- Urmarea instrucțiunilor52.8 pct1,351Verifică →
- Prompturi dificile52 pct1,375Verifică →
- General48.7 pct1,348Verifică →
- Programare48.6 pct1,391Verifică →
- IFBench (Artificial Analysis)36.1 pct38.2%Verifică →
- BFCL v4 (apelare de funcții)Clasament inactiv2.4 pct10.0%Verifică →
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- GPQA DiamondNeevaluat
- AIME (matematică)Neevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- SimpleBenchNeevaluat
- LiveBenchNeevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
Cum îl rulezi
Rulează-l singur
Transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "nvidia/Llama-3_1-Nemotron-Ultra-253B-v1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)Ollama
Nu sincronizăm tag-urile Ollama, așa că nu afișăm o comandă pe care nu o putem verifica — una greșită ar descărca modelul greșit. Caută în biblioteca Ollama →
Rețetele de fine-tuning Unsloth sunt specifice fiecărui model și nu le derivăm aici. Documentația Unsloth →
Identificatorii, limitele și prețurile sunt sincronizate din sursa upstream afișată mai sus. Orice câmp nesincronizat este omis complet, nu ghicit.
llama-3.1-nemotron-ultra-253b-v1 stands at 49.1 (raw mean 48.7) — measured on 8 of 27 axes.
llama-3.1-nemotron-ultra-253b-v1 stands at 49.1 versus a cohort median of 47.8 across 151 models released within 180 days — above the peer median.
llama-3.1-nemotron-ultra-253b-v1 scores at percentile 2.4 on BFCL v4 (apelare de funcții).
llama-3.1-nemotron-ultra-253b-v1 ranks between #176 and #482 across 5 built-in weightings — best under "Axat pe programare", worst under "Toate sursele".
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →