OpenAI · pașaport de model
o1 Mini
o1-mini- Doar în cloud
- Licență Proprietary
- Lansat 2024-09-12(curatoriat)
- General · LMArena
- 1,337#218 din 396
- Cea mai bună percentilă
- 61.5LiveCodeBench (Artificial Analysis)
- Poziția în cohortă
- 41.9mediană 37.9
Ce spun datele
Evaluat pe 12 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai slabe axe
- 4.6 pct — SimpleBench (18.1%)
Neuniform: 56,9 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 61.5 pct pe LiveCodeBench (Artificial Analysis) față de 4.6 pct pe SimpleBench.
- LiveCodeBench (Artificial Analysis)61.5 pct57.6%Verifică →
- LiveBench58.1 pct57.8%Verifică →
- MMLU-Pro (Artificial Analysis)48.7 pct74.2%Verifică →
- Urmarea instrucțiunilor48.2 pct1,331Verifică →
- Prompturi dificile47.7 pct1,360Verifică →
- Programare46.5 pct1,386Verifică →
- General45.2 pct1,337Verifică →
- GPQA Diamond43.9 pct62.4%Verifică →
- AIME (matematică)37 pct46.9%Verifică →
- FrontierMath20.3 pct1.7%Verifică →
- ARC-AGI-216.9 pct0.8%Verifică →
- SimpleBench4.6 pct18.1%Verifică →
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- SimpleQA VerifiedNeevaluat
- Humanity's Last ExamNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- IFBench (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
o1-mini stands at 41.9 (raw mean 39.9) — measured on 12 of 27 axes.
o1-mini stands at 41.9 versus a cohort median of 37.9 across 129 models released within 180 days — above the peer median.
o1-mini scores at percentile 4.6 on SimpleBench.
o1-mini ranks between #185 and #760 across 5 built-in weightings — best under "Axat pe programare", worst under "Toate sursele".
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →