OpenAI: o3

Ce spun datele

Evaluat pe 19 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.

Neuniform: 81,2 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 100 pct pe LiveBench față de 18.8 pct pe SWE-bench Verified.

• LiveBench100 pct80.7%Verifică →
• BFCL v4 (apelare de funcții)Clasament inactiv92.7 pct63.0%Verifică →
• MMLU-Pro (Artificial Analysis)92.5 pct85.3%Verifică →
• LiveCodeBench (Artificial Analysis)91.2 pct80.8%Verifică →
• IFBench (Artificial Analysis)84.6 pct71.4%Verifică →
• General75 pct1,432Verifică →
• Prompturi dificile70.5 pct1,441Verifică →
• Programare68.3 pct1,460Verifică →
• Urmarea instrucțiunilor67.7 pct1,403Verifică →
• SimpleQA Verified67.1 pct49.4%Verifică →
• AIME (matematică)62.5 pct84.4%Verifică →
• GPQA Diamond62 pct81.8%Verifică →
• Humanity's Last Exam58.7 pct20.3%Verifică →
• SimpleBench55.2 pct53.1%Verifică →
• FrontierMath55.1 pct18.7%Verifică →
• Vision Arena53.3 pct1,216Verifică →
• ARC-AGI-241.6 pct6.5%Verifică →
• Factuality Arena19.2 pct1,404Verifică →
• SWE-bench Verified18.8 pct62.3%Verifică →
• WebDev ArenaNeevaluat
• Search ArenaNeevaluat
• Document ArenaNeevaluat
• Agent ArenaNeevaluat
• SWE-bench Verified (clasament live)Neevaluat
• Terminal-Bench 4.0Neevaluat
• Halucinații HHEM (Vectara)Neevaluat
• Terminal-BenchNeevaluat

Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.

Cum îl rulezi

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"openai/o3","messages":[{"role":"user","content":"Hello"}]}'

Identificatorii, limitele și prețurile sunt sincronizate din sursa upstream afișată mai sus. Orice câmp nesincronizat este omis complet, nu ghicit.