OpenAI: GPT-4o (2024-11-20)

Ce spun datele

Evaluat pe 19 din 27 axe urmărite. Fiecare cifră de mai jos este rezultatul publicat al modelului pe acel clasament.

Neuniform: 65,6 puncte de percentilă între cea mai bună și cea mai slabă axă a sa — 67.8 pct pe MMLU-Pro (Artificial Analysis) față de 2.2 pct pe Humanity's Last Exam.

• MMLU-Pro (Artificial Analysis)67.8 pct80.3%Verifică →
• LiveBench55.7 pct56.5%Verifică →
• LiveCodeBench (Artificial Analysis)51.9 pct42.5%Verifică →
• Halucinații HHEM (Vectara)48.6 pct90.4%Verifică →
• General48 pct1,346Verifică →
• Urmarea instrucțiunilor46.7 pct1,325Verifică →
• Prompturi dificile42.9 pct1,338Verifică →
• Programare42.2 pct1,369Verifică →
• Vision Arena37.3 pct1,162Verifică →
• GPQA Diamond34.4 pct49.2%Verifică →
• IFBench (Artificial Analysis)29.9 pct36.0%Verifică →
• SWE-bench Verified (clasament live)24.6 pct38.4%Verifică →
• SimpleQA Verified22 pct26.0%Verifică →
• AIME (matematică)18.5 pct6.4%Verifică →
• ARC-AGI-211.2 pct0.0%Verifică →
• FrontierMath7.2 pct0.3%Verifică →
• SimpleBench3.4 pct17.8%Verifică →
• SWE-bench Verified3.1 pct31.0%Verifică →
• Humanity's Last Exam2.2 pct2.7%Verifică →
• WebDev ArenaNeevaluat
• Factuality ArenaNeevaluat
• Search ArenaNeevaluat
• Document ArenaNeevaluat
• Agent ArenaNeevaluat
• BFCL v4 (apelare de funcții)Neevaluat
• Terminal-Bench 4.0Neevaluat
• Terminal-BenchNeevaluat

Percentilele reprezintă poziția modelului în populația proprie a fiecărui clasament. Axele marcate „neevaluat” nu au niciun rezultat publicat pentru acest model — este o absență a datelor, nu un scor mic.

Cum îl rulezi

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"openai/gpt-4o-2024-11-20","messages":[{"role":"user","content":"Hello"}]}'

Identificatorii, limitele și prețurile sunt sincronizate din sursa upstream afișată mai sus. Orice câmp nesincronizat este omis complet, nu ghicit.