Sari la conținut

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Benchmark-uri

Surse
8
Intrări urmărite
22.310
Ultima sincronizare
57 min
Toate sursele se sincronizează normal
  • Arena · Textacum 6 ore
  • Arena · WebDevacum 6 ore
  • Arena · Visionacum 6 ore
  • Arena · Agentacum 6 ore
  • GPQA Diamondacum 57 de minute
  • SWE-benchacum 57 de minute
  • Terminal-Benchacum 57 de minute
  • ARC-AGI-2acum 57 de minute

OpenHands

57±0

56interval57

oscilație #227–#227

General ×1WebDev Arena ×1Vision Arena ×1Factuality Arena ×1Search Arena ×1Document Arena ×1Agent Arena ×1GPQA Diamond ×1AIME (matematică) ×1FrontierMath ×1SimpleQA Verified ×1ARC-AGI-2 ×1Humanity's Last Exam ×1SimpleBench ×1LiveBench ×1BFCL v4 (apelare de funcții) ×1inactivSWE-bench Verified (clasament live) ×1Terminal-Bench 4.0 ×1MMLU-Pro (Artificial Analysis) ×1LiveCodeBench (Artificial Analysis) ×1IFBench (Artificial Analysis) ×1Halucinații HHEM (Vectara) ×14 din 1034 modele
ModelOrganizațieIntervalOscilațieiiiiiiiiiiiiiiiiiiiiiiAdaugă la comparație
11020251127_openhands_claude-opus-4-5———61.7 96.9Clasat 61.7 = (1 × 96.9 + 3 × 50) ÷ 4. 96.9 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă—————————————————97—————
227OpenHands———56.7 76.9Clasat 56.7 = (1 × 76.9 + 3 × 50) ÷ 4. 76.9 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă—————————————————77—————
322OpenHands + 4x Scaled (2024-02-03)———53.3 63.1Clasat 53.3 = (1 × 63.1 + 3 × 50) ÷ 4. 63.1 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă—————————————————63—————
431OpenHands + CodeAct v2.1 (claude-3-5-sonnet-20241022)———49.4 47.7Clasat 49.4 = (1 × 47.7 + 3 × 50) ÷ 4. 47.7 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă—————————————————48—————

Mixul este contractat după acoperire; scorul compus brut apare gri lângă el · O insignă „redusă” înseamnă că mai puțin de 3 clasamente au evaluat acest model

Puținele lucruri din AI și cuantic care au contat cu adevărat săptămâna asta — rezumate cinstit.

Un e-mail pe săptămână. Dezabonare dintr-un clic. Fără urmărire, fără partajare.