Sari la conținut

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Benchmark-uri

Surse
8
Intrări urmărite
22.308
Ultima sincronizare
28 min
Toate sursele se sincronizează normal
  • Arena · Textacum 29 de minute
  • Arena · WebDevacum 29 de minute
  • Arena · Visionacum 29 de minute
  • Arena · Agentacum 28 de minute
  • GPQA Diamondacum 52 de minute
  • SWE-benchacum 52 de minute
  • Terminal-Benchacum 52 de minute
  • ARC-AGI-2acum 52 de minute

Mistral-7B-Instruct-v0.3

27±0

26interval28

Mistral AIoscilație #482–#1021

General ×1WebDev Arena ×1Vision Arena ×1Factuality Arena ×1Search Arena ×1Document Arena ×1Agent Arena ×1GPQA Diamond ×1AIME (matematică) ×1FrontierMath ×1SimpleQA Verified ×1ARC-AGI-2 ×1Humanity's Last Exam ×1SimpleBench ×1LiveBench ×1BFCL v4 (apelare de funcții) ×1inactivSWE-bench Verified (clasament live) ×1Terminal-Bench 4.0 ×1MMLU-Pro (Artificial Analysis) ×1LiveCodeBench (Artificial Analysis) ×1IFBench (Artificial Analysis) ×1Halucinații HHEM (Vectara) ×13 din 1034 modele
ModelOrganizațieIntervalOscilațieiiiiiiiiiiiiiiiiiiiiiiAdaugă la comparație
965mistral-7b-instruct-v0.2mistraldec. 2023—33.3 8.2Clasat 33.3 = (2 × 8.2 + 3 × 50) ÷ 5. 8.2 este percentila medie pe cele 2 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.33–3432/22redusă#368–96510—————————————7———————
1021Mistral-7B-Instruct-v0.3Mistral AI——26.8 3.7Clasat 26.8 = (3 × 3.7 + 3 × 50) ÷ 6. 3.7 este percentila medie pe cele 3 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.26–2863/22#482–1021———————22—————7———————
1032mistral-7b-instructmistralsept. 2023—23.4 3.5Clasat 23.4 = (4 × 3.5 + 3 × 50) ÷ 7. 3.5 este percentila medie pe cele 4 din 22 axe selectate pe care este măsurat modelul; cu cât sunt mai puține axe, cu atât tragerea spre 50 este mai puternică.23–2424/22#394–10325—————————————————343—

Mixul este contractat după acoperire; scorul compus brut apare gri lângă el · O insignă „redusă” înseamnă că mai puțin de 3 clasamente au evaluat acest model

Puținele lucruri din AI și cuantic care au contat cu adevărat săptămâna asta — rezumate cinstit.

Un e-mail pe săptămână. Dezabonare dintr-un clic. Fără urmărire, fără partajare.