Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Benchmark-uri · analiză între axe

Corelațiile axelor între clasamente

Pentru fiecare pereche de axe de clasament, cât de mult coincid clasările lor per model? Grupări derivate din date, din corelația pe perechi pe modelele comune fiecărei perechi, menite să te ajute să decizi cum ponderezi axele în vizualizarea cu scor compus — nu să definească ce măsoară „cu adevărat” o axă.

69.7%din ordonare este o singură dimensiune

Cât din asta este o singură dimensiune?

Ponderea ordonării pe 47 axe explicată de un singur factor subiacent. Poziția unui model pe majoritatea clasamentelor este în mare parte predictibilă din poziția sa pe celelalte — de aceea un mix ponderat în mare parte reponderează un singur semnal.

O singură estimare, cea conservatoare: 276 din 1081 perechi de axe au prea puține modele în comun și sunt socotite ca fără legătură, iar lista fiecărui clasament restrânge intervalul, așa că ponderea reală este mai mare. Nu este afișată nicio variantă imputată sau doar de frontieră, pentru că niciuna nu este calculată.

Încărcările factorului general

Partea fiecărei axe din semnalul comun pe 47 axe; dacă fiecare axă ar conta la fel, fiecare ar avea 0.15. Barele sunt relative la cea mai puternică axă.

Expert0.18
Prompturi dificile0.18
General0.18
Software & IT0.18
Matematică0.18
Engleză0.18
Urmarea instrucțiunilor0.18
Programare0.18
Chineză0.18
Business & finanțe0.18
Rusă0.17
Franceză0.17
Conversații multi-tur0.17
Divertisment & media0.17
Scriere & limbă0.17
Germană0.17
Coreeană0.17
Japoneză0.17
Spaniolă0.17
Scriere creativă0.17
GPQA Diamond0.17
AIME (matematică)0.17
Vision Arena0.16
ARC-AGI-20.16
Factuality Arena0.15
MMLU-Pro (Artificial Analysis)0.15
LiveBench0.15
SimpleBench0.15
FrontierMath0.15
MMLU-Pro (TIGER-Lab)0.14
Humanity's Last Exam0.13
WebDev Arena0.13
LiveCodeBench (Artificial Analysis)0.13
Terminal-Bench0.13
SimpleQA Verified0.13
SWE-bench Verified0.12
BFCL v4 (apelare de funcții)0.12
IFBench (Artificial Analysis)0.11
Document Arena0.10
Agent Arena0.08
Text-to-Image Arena0.00
Image Edit Arena0.00
SWE-bench Verified (clasament live)0.00
Text-to-Video Arena0.00
Search Arena0.00

Lăsate în afara părții comune pentru că se mișcă în sens invers, deci măsoară altceva: Viteză de generare, tokeni/s (Artificial Analysis), Halucinații HHEM (Vectara)

Cel mai mare semnal

Aproape fiecare pereche de axe cu suprapunere adecvată corelează pozitiv — de obicei puternic. „Grupurile de abilități” distincte sunt slabe în aceste date. Modelele bune pe o axă tind să fie bune pe multe, iar „capabilitatea generală” este factorul comun dominant. Asta nu înseamnă că axele sunt interschimbabile; înseamnă că dezacordurile lor sunt semnalul mai mic, iar acordul lor este cel mai mare.

Extremele, cu intervale de încredere · abilitatea cohortei

Extremele, cu intervale de încredere

Perechile cel mai mult și cel mai puțin corelate, fiecare cu un interval bootstrap. Acestea folosesc corelația de rang Spearman — gruparea de mai sus folosește Pearson pe aceleași percentile. Intervalele contează: acolo unde o pereche are doar vreo douăzeci de modele în comun, intervalul trece de regulă prin zero, iar coeficientul singur ar sugera o precizie pe care datele nu o au.

Axa A	Axa B	rho Spearman	Interval 95%	Modele comune
Software & IT	Programare	0.997	0.996 to 0.998	391
Prompturi dificile	Software & IT	0.997	0.996 to 0.998	396
General	Engleză	0.997	0.996 to 0.997	396
General	Prompturi dificile	0.997	0.996 to 0.997	396
Urmarea instrucțiunilor	Prompturi dificile	0.997	0.995 to 0.997	396
Prompturi dificile	Engleză	0.997	0.995 to 0.997	396
Scriere & limbă	Divertisment & media	0.996	0.995 to 0.997	394
Scriere & limbă	Scriere creativă	0.996	0.994 to 0.996	394
General	Urmarea instrucțiunilor	0.996	0.994 to 0.997	396
General	Conversații multi-tur	0.995	0.993 to 0.996	394
Scriere creativă	Divertisment & media	0.995	0.993 to 0.996	394
Engleză	Software & IT	0.995	0.993 to 0.996	396
Scriere creativă	Viteză de generare, tokeni/s (Artificial Analysis)	-0.03	-0.21 to 0.17trece prin zero	122
Viteză de generare, tokeni/s (Artificial Analysis)	MMLU-Pro (Artificial Analysis)	0.03	-0.13 to 0.18trece prin zero	159
Scriere & limbă	Viteză de generare, tokeni/s (Artificial Analysis)	-0.02	-0.19 to 0.15trece prin zero	122
Viteză de generare, tokeni/s (Artificial Analysis)	Halucinații HHEM (Vectara)	-0.02	-0.36 to 0.32trece prin zero	46
Halucinații HHEM (Vectara)	Terminal-Bench	0.02	-0.44 to 0.49trece prin zero	23
Rusă	Viteză de generare, tokeni/s (Artificial Analysis)	0.02	-0.16 to 0.22trece prin zero	122
Viteză de generare, tokeni/s (Artificial Analysis)	MMLU-Pro (TIGER-Lab)	0.02	-0.30 to 0.35trece prin zero	39
Divertisment & media	Viteză de generare, tokeni/s (Artificial Analysis)	-0.02	-0.20 to 0.16trece prin zero	122
Matematică	Viteză de generare, tokeni/s (Artificial Analysis)	0.01	-0.20 to 0.22trece prin zero	116
General	Viteză de generare, tokeni/s (Artificial Analysis)	-0.01	-0.20 to 0.18trece prin zero	122
Viteză de generare, tokeni/s (Artificial Analysis)	Franceză	-0.00	-0.20 to 0.22trece prin zero	103
Viteză de generare, tokeni/s (Artificial Analysis)	Spaniolă	-0.00	-0.21 to 0.20trece prin zero	108

Factorul general de capabilitate

O singură abilitate latentă ajustată pe fiecare comparație pe perechi implicată de clasamente, nu o medie a percentilelor. Este o singură dimensiune, nu un verdict — în mod deliberat nu poate reprezenta o axă care măsoară altceva.

Ajustat doar pe axele care încarcă pozitiv pe factorul de mai sus. Excluse: Viteză de generare, tokeni/s (Artificial Analysis), Halucinații HHEM (Vectara). Fiecare abilitate poartă dovezile din spatele ei, pentru că o ajustare fără această verificare a pus în frunte un model măsurat pe un singur clasament.

#	Model	Abilitate	Clasamente	Comparații
1	gemini-4-argon	5.06	22	6.914
2	gpt-5-5-pre-release	4.95	4	506
3	gpt-5-5-pro-pre-release	4.87	3	476
4	claude-opus-5-5	4.79	26	7.469
5	claude-fable-5-1	4.72	30	8.152
6	muse-wonder-max	4.69	17	5.765
7	grok-4-20-0309	4.62	1	323
8	claude-fable-5	4.59	32	8.734
9	claude-opus-5	4.52	31	8.421
10	muse-spark-1-3	4.44	26	7.907
11	grok-4-20-0309-v2	4.42	1	323
12	gemini-3-8-flash	4.39	29	8.299
13	gpt-6-1-sol	4.36	26	7.468
14	claude-opus-4-7	4.31	35	8.878
15	gemini-3-7-flash	4.30	28	8.259

Grupuri, singletoane și cele negrupabile

Corelația nu înseamnă identitate

Două axe care corelează la r ≥ 0.85 (pe un eșantion de cel puțin 20 modele comune) împart un grup mai jos, dar numai în sensul că clasările coincid — nu că măsoară aceeași abilitate. Ambele pot fi determinate de o variabilă subiacentă (dimensiunea modelului, volumul datelor de antrenare, suprapunerea datelor de antrenare cu benchmark-ul). Tratează apartenența la un grup ca „aceste clasări coincid pe populația actuală de modele”, niciodată ca „aceste benchmark-uri măsoară același lucru”.

Grupuri legate prin corelație (2)

Grupul 1 — 37 axe

Mediana r pe perechi în interiorul grupului: 0.89

IFBench (Artificial Analysis)
LiveCodeBench (Artificial Analysis)
MMLU-Pro (Artificial Analysis)
BFCL v4 (apelare de funcții)
LiveBench
AIME (matematică)
ARC-AGI-2
FrontierMath
GPQA Diamond
Humanity's Last Exam
SimpleBench
SWE-bench Verified
Terminal-Bench
Chineză
Programare
Scriere creativă
Document Arena
Engleză
Expert
Franceză
Germană
Prompturi dificile
Business & finanțe
Divertisment & media
Software & IT
Scriere & limbă
Urmarea instrucțiunilor
Japoneză
Coreeană
Matematică
Conversații multi-tur
General
Rusă
Spaniolă
Factuality Arena
Vision Arena
MMLU-Pro (TIGER-Lab)

Grupul 2 — 2 axe

Mediana r pe perechi în interiorul grupului: 0.91

Image Edit Arena
Text-to-Image Arena

Axe cu suprapunere adecvată, dar fără corelație suficientă pentru un grup (5)

Aceste axe au destule modele comune ca să te poți încrede într-o corelație cu celelalte, dar nicio corelație nu trece pragul — clasarea lor diferă de a tuturor celorlalte mai mult decât permite limita. Asta este în sine un semnal despre axă: nu măsoară același lucru ca restul.

Viteză de generare, tokeni/s (Artificial Analysis)
SimpleQA Verified
Agent Arena
WebDev Arena
Halucinații HHEM (Vectara)

Axe cu suprapunere insuficientă pentru o grupare onestă (9)

Aceste axe au mai puțin de 20 modele comune cu fiecare altă axă, așa că orice corelație cu ele ar fi calculată pe un eșantion prea mic ca să fie de încredere. Sunt ținute într-o categorie separată, nu grupate. Odată ce mai multe modele vor fi evaluate pe ele, pot intra într-un grup la o rulare ulterioară.

GAIA (HAL)
USACO (HAL)
SWE-bench Verified (clasament live)
τ²-bench Airline
τ²-bench Retail
τ²-bench Telecom
Terminal-Bench 4.0
Search Arena
Text-to-Video Arena

Primele 20 de perechi

Primele 20 corelații pe perechi

Faptul brut din spatele grupurilor — fiecare pereche de axe cu suprapunere adecvată, ordonată după corelație. Citește pasul de grupare ca „un mod anume de a grupa acest tabel după un prag”, iar dacă nu ești de acord cu pragul, caută aici cifrele de bază.

Axa A	Axa B	Modele comune	r Pearson
Programare	Software & IT	391	0.997
Prompturi dificile	Software & IT	396	0.997
Engleză	General	396	0.997
Prompturi dificile	General	396	0.997
Prompturi dificile	Urmarea instrucțiunilor	396	0.997
Engleză	Prompturi dificile	396	0.997
Divertisment & media	Scriere & limbă	394	0.996
Scriere creativă	Scriere & limbă	394	0.996
Urmarea instrucțiunilor	General	396	0.996
Conversații multi-tur	General	394	0.995
Scriere creativă	Divertisment & media	394	0.995
Engleză	Software & IT	396	0.995
Programare	Prompturi dificile	391	0.995
Engleză	Urmarea instrucțiunilor	396	0.994
Software & IT	General	396	0.994
Urmarea instrucțiunilor	Conversații multi-tur	394	0.994
Prompturi dificile	Conversații multi-tur	394	0.994
Business & finanțe	General	389	0.993
Engleză	Conversații multi-tur	394	0.993
Software & IT	Urmarea instrucțiunilor	396	0.993