Sari la conținut

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Benchmark-uri

Surse
8
Intrări urmărite
22.318
Ultima sincronizare
32 min
Toate sursele se sincronizează normal
  • Arena · Textacum 7 ore
  • Arena · WebDevacum 7 ore
  • Arena · Visionacum 7 ore
  • Arena · Agentacum 7 ore
  • GPQA Diamondacum 32 de minute
  • SWE-benchacum 32 de minute
  • Terminal-Benchacum 32 de minute
  • ARC-AGI-2acum 32 de minute
General ×1WebDev Arena ×1Vision Arena ×1Factuality Arena ×1Search Arena ×1Document Arena ×1Agent Arena ×1GPQA Diamond ×1AIME (matematică) ×1FrontierMath ×1SimpleQA Verified ×1ARC-AGI-2 ×1Humanity's Last Exam ×1SimpleBench ×1LiveBench ×1BFCL v4 (apelare de funcții) ×1inactivSWE-bench Verified (clasament live) ×1Terminal-Bench 4.0 ×1MMLU-Pro (Artificial Analysis) ×1LiveCodeBench (Artificial Analysis) ×1IFBench (Artificial Analysis) ×1Halucinații HHEM (Vectara) ×16 din 1034 modele
ModelOrganizațieIntervalOscilațieiiiiiiiiiiiiiiiiiiiiiiAdaugă la comparație
497dracarys-llama-3.1-70b-instructAbacusAI——47.8 41.2Clasat 47.8 = (1 × 41.2 + 3 × 50) ÷ 4. 41.2 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————41———————
499meta-llama-3.1-70b-instruct-turboMeta——47.7 40.9Clasat 47.7 = (1 × 40.9 + 3 × 50) ÷ 4. 40.9 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————41———————
532dracarys2-llama-3.1-70b-instructAbacusAI——46.5 36.1Clasat 46.5 = (1 × 36.1 + 3 × 50) ÷ 4. 36.1 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————36———————
562coding-meta-llama-3.1-70b-instruct-chk-50Meta——45.3 31.3Clasat 45.3 = (1 × 31.3 + 3 × 50) ÷ 4. 31.3 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————31———————
569coding2-amcfull-apifull-mmlu12k-meta-llama-3.1-70b-instruct-chk-150Meta——45.1 30.6Clasat 45.1 = (1 × 30.6 + 3 × 50) ÷ 4. 30.6 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————31———————
919llama-3.1-70b-instructmetaiul. 2024$0.40 / $0.4036.7 23.4Clasat 36.7 = (3 × 23.4 + 3 × 50) ÷ 6. 23.4 este percentila medie pe cele 3 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.35–39203/22#255–91932——————2513—————————————

Mixul este contractat după acoperire; scorul compus brut apare gri lângă el · O insignă „redusă” înseamnă că mai puțin de 3 clasamente au evaluat acest model

Puținele lucruri din AI și cuantic care au contat cu adevărat săptămâna asta — rezumate cinstit.

Un e-mail pe săptămână. Dezabonare dintr-un clic. Fără urmărire, fără partajare.