Sari la conținut

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Benchmark-uri

Surse
8
Intrări urmărite
22.310
Ultima sincronizare
48 min
Toate sursele se sincronizează normal
  • Arena · Textacum 4 ore
  • Arena · WebDevacum 4 ore
  • Arena · Visionacum 4 ore
  • Arena · Agentacum 4 ore
  • GPQA Diamondacum 48 de minute
  • SWE-benchacum 48 de minute
  • Terminal-Benchacum 48 de minute
  • ARC-AGI-2acum 48 de minute

Command R7B (FC)

49±0

49interval50

cohereoscilație #434–#434

command-r-plus-04-2024

41±0

40interval41

Cohereoscilație #756–#756

General ×1WebDev Arena ×1Vision Arena ×1Factuality Arena ×1Search Arena ×1Document Arena ×1Agent Arena ×1GPQA Diamond ×1AIME (matematică) ×1FrontierMath ×1SimpleQA Verified ×1ARC-AGI-2 ×1Humanity's Last Exam ×1SimpleBench ×1LiveBench ×1BFCL v4 (apelare de funcții) ×1inactivSWE-bench Verified (clasament live) ×1Terminal-Bench 4.0 ×1MMLU-Pro (Artificial Analysis) ×1LiveCodeBench (Artificial Analysis) ×1IFBench (Artificial Analysis) ×1Halucinații HHEM (Vectara) ×18 din 1034 modele
ModelOrganizațieIntervalOscilațieiiiiiiiiiiiiiiiiiiiiiiAdaugă la comparație
434Command R7B (FC)cohere——49.4 47.6Clasat 49.4 = (1 × 47.6 + 3 × 50) ÷ 4. 47.6 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă————————————————48——————
575command-r-plus-08-2024cohereaug. 2024$2.50 / $1045.0 40.0Clasat 45.0 = (3 × 40.0 + 3 × 50) ÷ 6. 40.0 este percentila medie pe cele 3 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.44–46533/22#293–57528—————————————20——————72
756command-r-plus-04-2024Cohere——40.6 12.4Clasat 40.6 = (1 × 12.4 + 3 × 50) ÷ 4. 12.4 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————12———————
828command-r-03-2024Cohere——38.9 5.5Clasat 38.9 = (1 × 5.5 + 3 × 50) ÷ 4. 5.5 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————5———————
845command-r-pluscohereapr. 2024—38.5 21.3Clasat 38.5 = (2 × 21.3 + 3 × 50) ÷ 5. 21.3 este percentila medie pe cele 2 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.38–3982/22redusă#304–84526—————————————17———————
869c4ai-command-r-plus-08-2024Cohere,Cohere Labs (formerly Cohere for AI)——38.1 2.3Clasat 38.1 = (1 × 2.3 + 3 × 50) ÷ 4. 2.3 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă——————————————2————————
878command-r-08-2024cohereaug. 2024$0.15 / $0.6037.9 19.7Clasat 37.9 = (2 × 19.7 + 3 × 50) ÷ 5. 19.7 este percentila medie pe cele 2 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.37–3892/22redusă#298–87824—————————————15———————
1004command-rcoheremar. 2024—29.6 14.3Clasat 29.6 = (4 × 14.3 + 3 × 50) ÷ 7. 14.3 este percentila medie pe cele 4 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.29–30114/22#325–100421—————————————10———1214——

Mixul este contractat după acoperire; scorul compus brut apare gri lângă el · O insignă „redusă” înseamnă că mai puțin de 3 clasamente au evaluat acest model

Puținele lucruri din AI și cuantic care au contat cu adevărat săptămâna asta — rezumate cinstit.

Un e-mail pe săptămână. Dezabonare dintr-un clic. Fără urmărire, fără partajare.