Sari la conținut

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Benchmark-uri

Surse
8
Intrări urmărite
22.318
Ultima sincronizare
58 min
Toate sursele se sincronizează normal
  • Arena · Textacum 1 oră
  • Arena · WebDevacum 1 oră
  • Arena · Visionacum 1 oră
  • Arena · Agentacum 1 oră
  • GPQA Diamondacum 58 de minute
  • SWE-benchacum 58 de minute
  • Terminal-Benchacum 58 de minute
  • ARC-AGI-2acum 58 de minute

deepseek-r1-local

56±0

56interval57

DeepSeekoscilație #244–#244

deepseek-r1-local-2

55±0

55interval56

DeepSeekoscilație #265–#265

General ×1WebDev Arena ×1Vision Arena ×1Factuality Arena ×1Search Arena ×1Document Arena ×1Agent Arena ×1GPQA Diamond ×1AIME (matematică) ×1FrontierMath ×1SimpleQA Verified ×1ARC-AGI-2 ×1Humanity's Last Exam ×1SimpleBench ×1LiveBench ×1BFCL v4 (apelare de funcții) ×1inactivSWE-bench Verified (clasament live) ×1Terminal-Bench 4.0 ×1MMLU-Pro (Artificial Analysis) ×1LiveCodeBench (Artificial Analysis) ×1IFBench (Artificial Analysis) ×1Halucinații HHEM (Vectara) ×110 din 1034 modele
ModelOrganizațieIntervalOscilațieiiiiiiiiiiiiiiiiiiiiiiAdaugă la comparație
243deepseek-r1-0528deepseekmai 2025$0.50 / $2.1556.3 58.4Clasat 56.3 = (9 × 58.4 + 3 × 50) ÷ 12. 58.4 este percentila medie pe cele 9 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.55–58729/22#89–25070——————5747——19—3480———918740—
244deepseek-r1-localDeepSeek——56.3 75.3Clasat 56.3 = (1 × 75.3 + 3 × 50) ÷ 4. 75.3 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————75———————
265deepseek-r1-local-2DeepSeek——55.4 71.5Clasat 55.4 = (1 × 71.5 + 3 × 50) ÷ 4. 71.5 este percentila medie pe cele 1 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.——1/22redusă———————————————71———————
389deepseek-r1deepseekian. 2025$0.70 / $2.5050.7 51.0Clasat 50.7 = (10 × 51.0 + 3 × 50) ÷ 13. 51.0 este percentila medie pe cele 10 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.50–526610/22#117–38962——————5140——24—2486———89653831
643DeepSeek-R1-Distill-Llama-70BDeepSeekian. 2025$0.80 / $0.8043.3 40.0Clasat 43.3 = (6 × 40.0 + 3 × 50) ÷ 9. 40.0 este percentila medie pe cele 6 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.42–45526/22#286–643———————3839—————53———653213—
778DeepSeek-R1-Distill-Qwen-32BDeepSeek——40.1 35.1Clasat 40.1 = (6 × 35.1 + 3 × 50) ÷ 9. 35.1 este percentila medie pe cele 6 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.39–41416/22#255–778———————4541—————37———48336—
812DeepSeek-R1-Distill-Qwen-14BDeepSeek——39.2 32.8Clasat 39.2 = (5 × 32.8 + 3 × 50) ÷ 8. 32.8 este percentila medie pe cele 5 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.38–41435/22#347–812———————2638—————————48475—
920deepseek-r1-0528-qwen3-8bdeepseek——36.7 28.7Clasat 36.7 = (5 × 28.7 + 3 × 50) ÷ 8. 28.7 este percentila medie pe cele 5 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.36–37565/22#465–920———————036—————————48572—
961DeepSeek R1 Distill Llama 8Bdeepseek——33.5 17.0Clasat 33.5 = (3 × 17.0 + 3 × 50) ÷ 6. 17.0 este percentila medie pe cele 3 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.—273/22———————————————————21292—
1029DeepSeek-R1-Distill-Qwen-1.5BDeepSeek——25.5 10.7Clasat 25.5 = (5 × 10.7 + 3 × 50) ÷ 8. 10.7 este percentila medie pe cele 5 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.24–26295/22#407–1029———————1430—————————361—

Mixul este contractat după acoperire; scorul compus brut apare gri lângă el · O insignă „redusă” înseamnă că mai puțin de 3 clasamente au evaluat acest model

Puținele lucruri din AI și cuantic care au contat cu adevărat săptămâna asta — rezumate cinstit.

Un e-mail pe săptămână. Dezabonare dintr-un clic. Fără urmărire, fără partajare.