Meta · pașaport de model
Llama 3 1 405b Instruct
llama-3-1-405b-instruct- Ponderi deschise
- Licență Llama 3.1 Community
- 405.9B parametri
- Lansat 2024-07-16(repo HF creat)
- General · LMArena
- 1,335#264 din 469
- Cea mai bună percentilă
- 44.7Programare
- Poziția în cohortă
- 39.9mediană 35.8
Ce spun datele
Evaluat pe 7 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 14 pct — SimpleBench (23.0%)
Neuniform: 30,7 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 44.7 pct pe Programare față de 14 pct pe SimpleBench.
- Programare44.7 pct1,376Verifică →
- General43.9 pct1,335Verifică →
- Prompturi dificile43.7 pct1,342Verifică →
- Urmarea instrucțiunilor43.1 pct1,315Verifică →
- GPQA Diamond35 pct50.9%Verifică →
- AIME (matematică)24.8 pct9.7%Verifică →
- SimpleBench14 pct23.0%Verifică →
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- LiveBenchNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- MMLU-Pro (Artificial Analysis)Neevaluat
- LiveCodeBench (Artificial Analysis)Neevaluat
- IFBench (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
Cum îl rulezi
Rulează-l singur
Transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "meta-llama/Llama-3.1-405B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)Ollama
Nu sincronizăm tag-urile Ollama, așa că nu afișăm o comandă pe care nu o putem verifica — una greșită ar descărca modelul greșit. Caută în biblioteca Ollama →
Rețetele de fine-tuning Unsloth sunt specifice fiecărui model și nu le derivăm aici. Documentația Unsloth →
Contextul, limitele și prețurile provin din ultima sincronizare a catalogului; ID-ul API, cererea și linkul provin din documentația proprie a furnizorului. Orice câmp nesincronizat este omis complet, nu ghicit.
Llama 3.1 405B Instruct (BF16) from meta has a composite score of 39.9 on the shrunk benchmark, covering 7 out of 27 axes with a raw composite score of 35.6 and is not thin coverage.
pozițieVerifică →Llama 3.1 405B Instruct (BF16) from meta achieved a standing of 39.9, which is above the cohort median of 35.8 across 137 models within an 180-day window.
cohortăVerifică →
Llama 3.1 405B Instruct (BF16) from meta scored at the 14th percentile on SimpleBench.
punct slabVerifică →
In the Axat pe programare template, Llama 3.1 405B Instruct (BF16) from meta shows a sensitivity spread of 647 between ranks 227 and 874 across 5 templates, with Toate sursele as the worst under template.
oscilație a pozițieiVerifică →
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →