OpenAI · pașaport de model
OpenAI: o1
o1- Doar în cloud
- Licență Proprietary
- 200,000 context
- Lansat 2024-12-05(curatoriat)
- General · LMArena
- 1,402#145 din 396
- Cea mai bună percentilă
- 87.3MMLU-Pro (Artificial Analysis)
- Poziția în cohortă
- 57.7mediană 41.3
Ce spun datele
Evaluat pe 15 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.
Cele mai puternice axe
- 87.3 pct — MMLU-Pro (Artificial Analysis) (84.1%)
- 86.9 pct — LiveBench (72.2%)
Neuniform: 61,2 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 87.3 pct pe MMLU-Pro (Artificial Analysis) față de 26.1 pct pe Humanity's Last Exam.
- MMLU-Pro (Artificial Analysis)87.3 pct84.1%Verifică →
- LiveBench86.9 pct72.2%Verifică →
- IFBench (Artificial Analysis)82.4 pct70.3%Verifică →
- LiveCodeBench (Artificial Analysis)73.3 pct67.9%Verifică →
- Urmarea instrucțiunilor69.4 pct1,407Verifică →
- General63.6 pct1,402Verifică →
- Prompturi dificile61.9 pct1,418Verifică →
- GPQA Diamond57.5 pct76.8%Verifică →
- Programare57.5 pct1,433Verifică →
- AIME (matematică)54.5 pct73.3%Verifică →
- SimpleQA Verified46.3 pct41.1%Verifică →
- FrontierMath44.9 pct9.3%Verifică →
- Vision Arena43.3 pct1,193Verifică →
- SimpleBench33.3 pct40.1%Verifică →
- Humanity's Last Exam26.1 pct8.0%Verifică →
- WebDev ArenaNeevaluat
- Factuality ArenaNeevaluat
- Search ArenaNeevaluat
- Document ArenaNeevaluat
- Agent ArenaNeevaluat
- ARC-AGI-2Neevaluat
- BFCL v4 (apelare de funcții)Neevaluat
- SWE-bench Verified (clasament live)Neevaluat
- Terminal-Bench 4.0Neevaluat
- Halucinații HHEM (Vectara)Neevaluat
- SWE-bench VerifiedNeevaluat
- Terminal-BenchNeevaluat
Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.
Cum îl rulezi
Folosește-l găzduit
openai/o1Parametri API acceptați de acest endpoint
Exemplu de cerere
curl https://openrouter.ai/api/v1/chat/completions \
-H "Authorization: Bearer $OPENROUTER_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"openai/o1","messages":[{"role":"user","content":"Hello"}]}'Identificatorii, limitele și prețurile sunt sincronizate din sursa upstream afișată mai sus. Orice câmp nesincronizat este omis complet, nu ghicit.
o1-2024-12-17 stands at 57.7 (raw mean 59.2) — measured on 15 of 27 axes.
o1-2024-12-17 stands at 57.7 versus a cohort median of 41.3 across 137 models released within 180 days — above the peer median.
o1-2024-12-17 scores at percentile 87.3 on MMLU-Pro (Artificial Analysis).
o1-2024-12-17 scores at percentile 86.9 on LiveBench.
On GPQA Diamond, o1-2024-12-17 raised the running best score by 14.4 percentage points to 76.8% on 2024-12-05.
On OTIS Mock AIME, o1-2024-12-17 raised the running best score by 26.4 percentage points to 73.3% on 2024-12-05.
Fiecare afirmație este un fapt calculat din datele actuale ale clasamentului, formulat de un apel de model la temperatură scăzută și respins de o poartă de validare dacă vreun număr nu se află în rândul sursă. Cum funcționează clasamentele →