OpenAI · pașaport de model
o1 Preview
o1-preview- Doar în cloud
- Licență Proprietary
- Lansat 2024-09-12(curatoriat)
- General · LMArena
- 1,389#164 din 396
- Cea mai bună percentilă
- 89.9MMLU-Pro (Artificial Analysis)
- Poziția în cohortă
- 55.4mediană 38.0
Ce spun datele
Evaluat pe 10 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai puternice axe
- 89.9 pct — MMLU-Pro (Artificial Analysis) (84.8%)
Neuniform: 56,4 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 89.9 pct pe MMLU-Pro (Artificial Analysis) față de 33.5 pct pe AIME (matematică).
- MMLU-Pro (Artificial Analysis)89.9 pct84.8%Verifică →
- LiveBench74.9 pct66.0%Verifică →
- SWE-bench Verified (clasament live)70.8 pct64.6%Verifică →
- Urmarea instrucțiunilor59.8 pct1,381Verifică →
- General58.8 pct1,389Verifică →
- Prompturi dificile56.1 pct1,396Verifică →
- Programare53.7 pct1,415Verifică →
- SimpleBench37.9 pct41.7%Verifică →
- GPQA Diamond34.8 pct50.3%Verifică →
- AIME (matematică)33.5 pct31.1%Verifică →
- WebDev ArenaNeevaluat
- Vision ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- FrontierMathNeevaluat
- SimpleQA VerifiedNeevaluat
- ARC-AGI-2Neevaluat
- Humanity's Last ExamNeevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- Terminal-Bench 4.0Neevaluat
- LiveCodeBench (Artificial Analysis)Neevaluat
- IFBench (Artificial Analysis)Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
o1-preview stands at 55.4 (raw mean 57) — measured on 10 of 27 axes.
o1-preview stands at 55.4 versus a cohort median of 38 across 129 models released within 180 days — above the peer median.
o1-preview scores at percentile 89.9 on MMLU-Pro (Artificial Analysis).
o1-preview ranks between #147 and #314 across 5 built-in weightings — best under "Axat pe programare", worst under "Raționament".
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →