Sari la conținut

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Cum funcționează clasamentele

O referință citabilă, pe o singură pagină, pentru fiecare decizie metodologică esențială din clasamente. Ce înseamnă un rând, cum se calculează scorul compus, ce reprezintă intervalul său de încredere, cum se măsoară divergența și sensibilitatea poziției, cum sunt generate analizele între axe și — important — ce va afirma și ce nu va afirma pagina.

Fiecare constantă numerică de mai jos este preluată live din modulul sursă care o definește. Dacă valoarea se schimbă în cod, această pagină se actualizează automat — descrierea nu poate devia pe tăcute de la implementare.

1. Cum citești un rând din clasament

Vizualizarea cu mix ponderat („construiește-ți propria vizualizare”) afișează un rând per model, cu cinci coloane pe lângă numele modelului. Fiecare exprimă o afirmație anume; fiecare are o formă anume a încrederii.

Scor compus
Un mix de percentile de la 0 la 100 pe axele selectate. Vectorul de ponderi al cititorului determină cât contribuie fiecare axă. Niciodată un mix de scoruri brute — Elo și rata de reușită nu au aceeași unitate de măsură.
Acoperire
Pe câte dintre axele selectate apare efectiv acest model. Rândurile sunt ordonate după scorul compus contractat după acoperire (nu după cel brut), astfel încât un număr bun din 2 clasamente nu mai depășește un istoric larg din 15. Un model are nevoie de aproximativ 3 axe de dovezi înainte ca propriul său istoric să cântărească mai mult decât prior-ul neutru.
[minim – maxim]
Scorul compus purtat prin intervalele de încredere publicate de surse. Când fiecare axă raportează un CI, intervalul este onest și poate fi mai îngust sau mai larg decât sugerează estimarea punctuală. Când nicio axă nu raportează unul, intervalul se reduce la valoarea punctuală — nimic inventat.
Divergență
Percentila maximă minus cea minimă pe axele pe care acest model apare efectiv. Divergența ridicată scoate la iveală performerii asimetrici — excelenți pe o axă, slabi pe alta — al căror unic scor compus ascunde povestea.
Oscilația poziției
Cât de mult se mută poziția unui model între cele cinci ponderări de șablon integrate (generalist / axat pe programare / conversație pe primul loc / raționament / agentic). O oscilație mică înseamnă că scorul compus este robust la vectorul de ponderi; o oscilație mare înseamnă că poziția exactă pe care o vede cititorul depinde puternic de șablonul care a produs-o.

Sortarea implicită este după scorul compus contractat după acoperire, descrescător. Fiecare rând este o afirmație din date live; la trecerea cursorului peste orice celulă de scor compus se văd valoarea brută, intervalul CI și contracția aplicată.

2. Surse de date

Fiecare axă de pe acest site este ingerată dintr-un singur clasament amonte publicat public — clasamente Elo de tip arenă, benchmark-uri măsurate, harness-uri agentice și rate de halucinație deopotrivă. Fiecare clasament își păstrează propriul editor, cadență, licență și atribuire; nimic nu este combinat la ingestie. URL-ul setului de date, licența și șirul complet de atribuire ale fiecărei surse se găsesc pe pagina Surse.

Lista de mai jos este generată din același registru de clasamente pe care îl afișează pagina Surse — 22 de editori, 53 de clasamente în prezent — astfel încât cele două pagini nu pot spune lucruri diferite despre ce este ingerat.

  • ARC Prize — 1 clasament: ARC-AGI-2
  • arena.ai (LMArena) — 10 clasamente: Arena · Agent, Arena · Document, Arena · Factuality, Arena · Image Edit, Arena · Search, Arena · Text, Arena · Text-to-Image, Arena · Text-to-Video, Arena · Vision, Arena · WebDev
  • Artificial Analysis — 4 clasamente: IFBench (Artificial Analysis), LiveCodeBench (Artificial Analysis), MMLU-Pro (Artificial Analysis), Output speed, tokens/s (Artificial Analysis)
  • awesome-quantum-computing-experiments (François-Marie Le Régent) — 4 clasamente: Entangled-state and two-qubit gate error, Physical qubit coherence — T1, Physical qubit count records, Quantum error correction experiments — code distance
  • Berkeley Function Calling Leaderboard (Gorilla, UC Berkeley) — 1 clasament: BFCL v4 — function calling
  • Epoch AI — 5 clasamente: FrontierMath, GPQA Diamond, OTIS Mock AIME, SimpleQA Verified, SWE-bench Verified
  • Holistic Agent Leaderboard (Princeton) — 2 clasamente: GAIA (HAL), USACO (HAL)
  • IBM Quantum Platform API — 1 clasament: IBM Quantum fleet — live systems
  • IonQ Quantum Cloud API — 1 clasament: IonQ fleet — live backends
  • LiveBench — 1 clasament: LiveBench (overall)
  • metriq-data (Unitary Foundation) · QED-C QFT circuit — 1 clasament: QED-C circuits on hardware (metriq-data)
  • Metriq (Unitary Foundation) — metriq-gym runs — 7 clasamente: BSEQ — largest connected qubit set (Metriq), CLOPS — circuit layer operations per second (Metriq), EPLG — error per layered gate (Metriq), Linear Ramp QAOA at 20 qubits (Metriq), Mirror circuits polarization, 16 qubits × 32 layers (Metriq), QML Kernel accuracy at 20 qubits (Metriq), WIT witness expectation at 7 qubits (Metriq)
  • Quantum Advantage Tracker — 3 clasamente: Quantum Advantage — Classically-Verifiable Problems, Quantum Advantage — Observable Estimations, Quantum Advantage — Variational Problems
  • Scale AI / CAIS — 1 clasament: Humanity's Last Exam
  • SimpleBench — 1 clasament: SimpleBench
  • SWE-bench Verified leaderboard — 1 clasament: SWE-bench Verified (live board)
  • Terminal-Bench 4.0 (Harbor / Laude Institute) — 1 clasament: Terminal-Bench 4.0
  • Terminal-Bench (Laude Institute) — 1 clasament: Terminal-Bench
  • TIGER-Lab (University of Waterloo) — 1 clasament: MMLU-Pro (TIGER-Lab)
  • Vectara — 1 clasament: Vectara HHEM Hallucination Leaderboard
  • Wikipedia — 2 clasamente: Quantum processors (Wikipedia), Quantum volume records (Wikipedia)
  • τ²-bench via the Exgentic Open Agent Leaderboard — 3 clasamente: τ²-bench Airline, τ²-bench Retail, τ²-bench Telecom

Pagina Surse listează și modificările pe care le aplicăm fiecărui clasament ingerat — selecția subsetului, normalizarea schemei, recalcularea pozițiilor pe identificatorul nostru normalizat — astfel încât cititorul să vadă exact ce s-a schimbat între setul de date original și numărul afișat aici.

Surse și atribuire →

3. Calculul scorului compus

Scorul compus este o medie ponderată a percentilelor per axă. Niciodată a scorurilor brute. Cei trei pași de mai jos îl definesc complet.

Pasul 1 — Clasare pe percentile per axă. Pe fiecare axă, modelele sunt clasate de la 0 la 100 în cadrul populației proprii acelei axe. Un model care punctează aproape de vârf pe o axă cu populație mică primește o percentilă mare; același scor brut ar fi mai jos pe o axă cu populație mare. Astfel percentilele devin adimensionale și comparabile între clasamente într-un mod în care scorurile brute Elo/procentuale nu sunt.

Pasul 2 — Mix ponderat. Cititorul (sau un șablon integrat) furnizează o pondere pentru fiecare axă selectată, între 0 și 10. Scorul compus al unui model este suma normalizată după ponderi a percentilelor sale pe axele pentru care are date. Axele pe care nu apare sunt excluse din mixul acelui model, nu tratate ca zero — o măsurătoare lipsă nu este o măsurătoare proastă.

Pasul 3 — Contracția după acoperire. O medie brută pe câteva axe nu este comparabilă cu o medie brută pe multe. Fiindcă un singur clasament norocos poate produce o medie la percentila 99 fără susținere largă, fiecare scor compus este contractat spre valoarea neutră de referință proporțional cu cât de puține dovezi îl susțin.

Priorul valorează 3 axe de percentilă 50 neutră. Formula este contracția standard pentru eșantioane mici:

adjusted = (n · mean + 3 · 50) / (n + 3)

Acoperirea („pe câte dintre axele selectate pentru această vizualizare apare efectiv un model”) este afișată pe fiecare rând. Un scor compus pe o singură axă este definit tehnic, dar vizibil de încredere scăzută, iar valoarea brută dinaintea contracției rămâne vizibilă, ca cititorul să vadă ce a făcut contracția.

4. Intervale de încredere

Unele surse publică un interval de încredere pentru fiecare scor — rating_lower / rating_upper la LMArena, stderr la Epoch extins la o bandă de ±1σ și așa mai departe. Altele nu (HHEM, MMLU-Pro). Scorul compus propagă onest ceea ce publică sursele și nu inventează incertitudine pe care acestea nu au declarat-o.

Propagare. CI-ul brut al fiecărei axe este clasat pe percentile în aceeași populație ca scorul său, producând un percentileLow și un percentileHigh. Limitele inferioară și superioară ale scorului compus sunt aceeași sumă normalizată după ponderi aplicată acelor CI-uri de percentilă. Când fiecare axă publică un CI, low ≤ compus ≤ high; când niciuna nu o face, low = compus = high.

O axă cu CI larg își duce lățimea mai departe în scorul compus; o axă cu CI strâns duce limite strânse. Cititorul care trece cursorul peste o celulă de scor compus vede atât valoarea punctuală brută, cât și intervalul onest [jos, sus] — un interval larg se citește ca mai puțin sigur decât unul îngust, exact cum ar trebui.

5. Divergență

Divergența unui rând este intervalul de percentile pe axele pe care apare efectiv: axa cu cea mai mare percentilă minus axa cu cea mai mică percentilă, exprimat în puncte de percentilă. Un model care ajunge la a 95-a pe o axă și la a 30-a pe alta are o divergență de 65. Un model care ajunge la 62 pe fiecare axă are o divergență de 0.

Pagina /leaderboards/insights afișează cel mult 5 rânduri cu divergență demnă de semnalat din întreaga populație; pragul de eligibilitate este o amplitudine de 40 puncte de percentilă. Sub acesta, tiparul este „modelele sunt neuniforme la scară mică” — nu o poveste care merită numită. Coloana de divergență din pagina principală arată valoarea fiecărui rând; pagina de analize numește doar extremele.

6. Sensibilitatea la ponderi

Un scor compus poartă un singur vector de ponderi anume. Un cititor care vede locul 3 nu știe automat dacă acel model este pe locul 3 sub majoritatea ponderărilor rezonabile sau pe locul 3 doar sub aceasta. Oscilația poziției măsoară exact asta: pentru fiecare model, calculăm poziția sa sub fiecare dintre cele cinci șabloane integrate și raportăm minimul, maximul și amplitudinea. Șabloane discrete (nu ponderi aleatorii), pentru că acestea sunt vectorii de ponderi pe care un cititor i-ar lua plauzibil în considerare — un vector de ponderi patologic, pe care nimeni nu l-ar alege, nu ar trebui să distorsioneze semnalul de volatilitate.

  • Stabil: dispersia poziției ≤ 5 între șabloane. Poziția exactă pe care o vede cititorul este robustă — acest model ajunge cam în același loc indiferent de șablonul care determină scorul compus.
  • Moderat: dispersie a poziției între 5 și 20. Poziția depinde într-o oarecare măsură de șablon. Scorul compus se citește onest, dar poziția exactă nu este independentă de șablon.
  • Volatil: dispersie a poziției peste 20. Scorul compus depinde puternic de șablon — nu citi poziția afișată ca pe un fapt robust.
  • Șablon unic: modelul apare doar în mixul unui singur șablon. Sensibilitatea cere cel puțin două poziții de comparat, așa că nu se emite nicio cifră de oscilație; rândul primește o insignă distinctă în loc de un număr fals.

Pagina de analize numește cel mult 5 rânduri volatile; eligibilitatea pentru listă este dispersie ≥ 20 — aceeași limită ca a grupei volatile.

Sensibilitatea pe vectori de ponderi aleatorii este un concept matematic mai curat, dar înșelător în practică — a include în dispersie un șablon pe care niciun cititor nu l-ar alege umflă artificial semnalul de volatilitate. Șabloanele sunt setul discret și onest de opțiuni.

7. Grupuri de axe

Unele axe măsoară abilități similare (mai multe clasamente de programare, mai multe clasamente de raționament). Detectăm acest lucru din date, nu îl afirmăm editorial. Pentru fiecare pereche de axe cu cel puțin 20 modele în comun, calculăm corelația Pearson a vectorilor lor de percentile pe acele modele comune. Două axe fac parte din același grup dacă și numai dacă r-ul lor pe pereche este ≥ 0.85.

Apartenența la grup este închiderea tranzitivă a acelor muchii — componentele conexe ale grafului de corelație. În mod deliberat nu k-means sau ierarhic: componentele conexe sunt auditabile („aceste două axe au corelat peste prag, urmărește muchiile”) și lasă datele să decidă numărul de grupuri în loc să îl ceară dinainte.

Corelația nu înseamnă identitate semantică. Două axe pot corela pentru că scara modelului le determină pe amândouă — acest fapt nu îi dă cititorului dreptul să le trateze ca măsurând aceeași abilitate. Etichetele editoriale de grup („Grupul de programare”) sunt numite ca atare și aplicate doar grupurilor dintr-o singură familie; un grup cu familii mixte nu primește niciun descriptor.

Cele două moduri de eșec sunt raportate separat, nu contopite. O axă cu suprapunere adecvată, dar fără o corelație demnă de grup, este un singleton (măsurată, independentă). O axă cu zero perechi acoperite adecvat este negrupabilă (date insuficiente pentru a spune ceva). Distincția îi permite cititorului să decidă dacă tăcerea pe o axă este un rezultat real sau o lacună de date.

8. Cronologia aparițiilor

Vizualizarea cronologiei aparițiilor plasează un punct per model la data lansării, pe un singur benchmark Epoch, cu o linie de frontieră (maximul curent) deasupra, care arată cel mai bun scor cunoscut la orice moment. Aceasta este o tendință reală — pe măsură ce apar modele mai bune, frontiera urcă.

Clasamente eligibile în prezent: GPQA Diamond, OTIS Mock AIME, FrontierMath, SimpleQA Verified, SWE-bench Verified, ARC-AGI-2, Terminal-Bench, Humanity's Last Exam, SimpleBench. Doar Epoch, în mod deliberat. Scorurile LMArena sunt Elo (nu metrici fixe de capabilitate, iar ele se schimbă odată cu populația de votanți), așa că a plasa un singur Elo per model la data lansării ar invita la a citi Elo-ul unui anumit model drept „ce era când a fost lansat”, ceea ce nu este adevărat.

Axa x este data de lansare a modelului însuși, rezolvată prin lanțul nostru curatoriat → sufix de nume → HuggingFace createdAt → prima apariție pe LMArena (acoperire de 98,6% la nivel global, 79–95% per clasament eligibil). În mod deliberat NU câmpul publishedAt al Epoch — pentru clasamentele care folosesc „Started at” în CSV, acea coloană este marcajul temporal al evaluării (când a rulat Epoch evaluarea), care pentru modelele mai vechi cade de regulă la luni după lansarea efectivă a modelului.

Protecție pentru date rare. Un grafic de dispersie cu 3 puncte datate nu este o tendință, ci o insinuare. Clasamentele cu mai puțin de 10 puncte datate afișează o stare „date insuficiente” în locul graficului. Numărul este o judecată, ales suficient de mic încât să includă benchmark-uri înguste precum SWE-bench Verified, fără a lăsa un clasament proaspăt să arate o linie dreaptă prin 2 puncte.

Ce NU este aceasta: scorul unui model de-a lungul timpului. Scorul de benchmark al unui model fix este fix — scorul GPQA al lui Claude 3.5 Sonnet de azi este același număr pe care Anthropic l-a raportat la lansare. A reprezenta grafic istoricul unui singur model ca și cum ar fi o serie temporală ar denatura fenomenul și ar induce cititorul în eroare.

9. Instantanee

Fiecare clasament ingerat produce un instantaneu zilnic: model, organizație, scor, limitele CI și poziția la momentul capturii. Instantaneele îi permit cititorului să răspundă la „cine era pe primul loc în acest clasament acum șase luni?” fără a fi nevoie să reingerăm date istorice.

Jobul de instantaneu este idempotent și limitat de cadență pe MAX(snapshotDate) — fără o coloană-marcaj separată. Dacă instantaneul de azi pentru un clasament există deja, jobul se încheie imediat; dacă nu, scrie exact un instantaneu per (clasament, model, zi). Derivarea limitei de cadență din aceeași tabelă în care scrie este mai ușor de înțeles decât o coloană de stare paralelă care poate deriva.

Instantaneele sunt folosite în prezent pentru a calcula divizorul contracției după acoperire și pentru a alimenta vizualizarea cronologiei aparițiilor. Nu sunt expuse ca o interfață de sine stătătoare de „călătorie în timp” — aceasta este o posibilă adăugare viitoare, nu o funcție livrată. Când va fi livrată, va apărea aici.

10. Analize între axe

Paginile /leaderboards/insights și profilurile per model afișează propoziții editoriale. Fiecare propoziție este un fapt calculat din baza de date curentă; nicio propoziție nu este scrisă de un model de limbaj de unul singur. Pipeline-ul are cinci etape.

  1. Extragere. Funcții deterministe citesc baza de date curentă și produc structuri InsightFinding — divergență, frontieră, grupare, sensibilitate, punct forte, punct slab, poziționare, cohortă, contribuție la frontieră. Fiecare câmp numeric este rotunjit la precizia de afișare în momentul extragerii.
  2. Șablon. Un generator determinist transformă fiecare structură într-o propoziție simplă, în limbaj natural. Această formulare din șablon este mereu disponibilă și este cea livrată când etapa LLM eșuează.
  3. Formularea LLM. Un apel cu temperatură scăzută către un model mic citește structura ca JSON și returnează o singură propoziție — o reformulare în limbaj natural. Promptul este strict: doar faptele din structură, fără calificative de magnitudine, fără superlative, fără limbaj cauzal sau de implicație.
  4. Poartă de validare. Propoziția candidată trebuie să treacă patru verificări înainte de a fi livrată (mai jos).
  5. Rezervă. Orice eșec al unei verificări revine la formularea din șablon. Cititorul nu vede niciodată o eroare brută, nicio halucinație și nicio afirmație pe care structura nu a publicat-o.

Cele patru verificări de validare

  • Fidelitatea numerelor. Fiecare token numeric din propoziția candidată trebuie să corespundă (în limita a ±0.05 absolut, plus o rezervă de rotunjire la întreg, astfel încât „88.4” formulat ca „88” este acceptat) unui număr care apare în setul de numere permise declarat de structură. Un număr pe care structura nu l-a publicat este o halucinație, iar propoziția este respinsă.
  • Calificative interzise. O listă curatoriată de 34 cuvinte și expresii care adaugă magnitudine, cauzalitate sau implicație pe care structura nu le conține („dramatic”, „consolidându-și avansul”, „ceea ce înseamnă”) este verificată fără a ține cont de majuscule. Orice potrivire respinge propoziția.
  • Mențiuni obligatorii. Fiecare nume de model și fiecare etichetă de axă numite în structură trebuie să apară în propoziție (fără a ține cont de majuscule, cu liniuțe/spații/underscore normalizate). O formulare care își omite propriul subiect este o altă propoziție, nu o formulare a constatării.
  • Limită de lungime. Formulările mai lungi de 320 caractere sunt respinse preventiv. O „analiză” de 400 de caractere este fie o frază interminabilă, fie o digresiune halucinată.
Vezi lista completă a calificativelor interzise (34 intrări)

dramatically, massively, hugely, vastly, surged, surging, plummeted, collapsed, revolutionary, unprecedented, astonishing, remarkable, stunning, dominates, dominating, dominant, crushing, reigns, cementing, clear winner, clearly the best, clear leader, far and away, because of this, due to, thanks to, as a result, consequently, therefore, which explains, which means, suggesting that, proving that, confirming that

Contract de rotunjire. Procentele se rotunjesc la 1 zecimală, corelațiile la 2, numărătorile și pozițiile la întregi. Rotunjirea are loc la extragere, înainte ca LLM-ul să vadă vreodată structura — poarta de validare compară cu acele valori rotunjite, așa că o ieșire LLM care fabrică o precizie zecimală pe care structura nu a publicat-o este respinsă la verificarea fidelității numerelor.

11. Onestitate privind acoperirea

Modelele cu acoperire redusă (prezente pe mai puțin de 3 dintre axele considerate) declanșează două consecințe vizibile, nu una.

  • Constatarea de poziționare setează un indicator de acoperire redusă; atât șablonul, cât și formularea LLM includ un avertisment explicit care numește raportul de acoperire și contracția. Cititorul vede forma încrederii înainte de a citi orice afirmație concretă.
  • Constatările de puncte slabe sunt suprimate complet pentru modelele cu acoperire redusă. O percentilă de jos pe 2 axe este un artefact de acoperire, nu un punct slab măsurat, și refuzăm să o prezentăm ca atare. Punctele forte sunt emise în continuare — o percentilă mare pe 2 axe este cel puțin o afirmație pozitivă despre axele efectiv măsurate — dar sunt citite în contextul avertismentului de acoperire redusă de mai sus.

Praguri de profil per model: un punct forte necesită o percentilă de cel puțin 85; un punct slab necesită o percentilă de cel mult 15; o constatare de cohortă necesită cel puțin 3 modele similare lansate în ±180 zile față de modelul însuși; un profil emite cel mult 6 constatări, într-o ordine fixă (poziție → puncte forte → puncte slabe → divergență → contribuții la frontieră → cohortă → sensibilitate).

12. Glosar

Axă
Un cip de categorie — un subset LMArena, un benchmark Epoch, HHEM, MMLU-Pro sau Terminal-Bench 2. Fiecare axă are o singură unitate (Elo sau procent) și o singură populație nativă.
Percentilă
Poziție de la 0 la 100 în populația proprie a unei axe. Fără unitate. Scorul compus combină percentile, niciodată scoruri brute.
Scor compus
Media percentilelor per axă, cu ponderi normalizate, pe axele pe care apare un model. Afișat atât ca valoare brută, cât și ca valoare contractată după acoperire; rândurile se sortează după cea contractată.
Contracție
Mutarea standard pentru eșantioane mici — tragi o estimare spre un prior neutru când există puține dovezi. Aici priorul valorează 3 axe la percentila neutră 50.
Axă inactivă
O axă a cărei sursă nu a mai publicat rezultate noi de 6+ luni. Rămâne inclusă în mix dacă e ponderată, dar e marcată vizibil pe fiecare control de pondere, ca un mix dominat de date învechite să nu poată trece drept „actual”.
Divergență
Percentila maximă minus cea minimă pe axele pe care apare efectiv un model. Zero când modelul este pe o singură axă.
Oscilația poziției
Dispersia poziției pe cele cinci șabloane predefinite. Necesită cel puțin două șabloane definite; rândurile cu un singur șablon sunt marcate, nu primesc zero.
Frontieră
Maximul curent al scorurilor pe un benchmark, în ordinea datei de lansare. Crește când un model nou publică un scor mai mare decât orice model anterior.
Grup
O componentă conexă în graful de corelație al vectorilor de percentile ale axelor, cu muchii la Pearson r ≥ 0.85. Nu este o identitate semantică — două axe se pot corela pentru că scara modelului le determină pe ambele.
Cheie canonică
Identificatorul normalizat pe care îl folosim pentru a potrivi același model fizic pe mai multe clasamente. Clasamente diferite scriu „Claude 3.5 Sonnet”, „claude-3-5-sonnet”, „claude-3.5-sonnet-20241022” — cheia canonică le aduce pe același rând al clasamentului.

13. Limitări cunoscute

  • Două clasamente candidate nu sunt citite din propriile lor tabele. Datele MMMU sunt CC-BY-SA-4.0, o clauză share-alike pe care nu o putem purta alături de licențele mai permisive ale celorlalte axe, iar clasamentul proiectului LiveCodeBench nu publică nicio licență pe care să o fi găsit. Ambele rămân fișe cu link extern pe pagina Referințe. Coloana LiveCodeBench de pe acest site este rularea proprie a benchmark-ului de către Artificial Analysis, citită din baza de date Every Eval Ever (CC-BY-4.0) și etichetată „LiveCodeBench (Artificial Analysis)” oriunde apare — fișa de referință pentru LiveCodeBench spune asta și trimite la ea.
  • Axele inactive contribuie în continuare la mixuri când cititorul (sau un șablon) le ponderează. Nu sunt niciodată filtrate pe tăcute — gestul onest este să le marcăm peste tot, nu să le ascundem.
  • Oscilația poziției se măsoară pe cele cinci șabloane predefinite, nu pe toți vectorii de ponderi posibili. O ponderare personalizată dată de utilizator nu intră în cifra oscilației — cifra este o verificare discretă a robusteții, nu o garanție continuă de stabilitate.
  • Pe datele actuale, majoritatea perechilor de axe cu acoperire adecvată se corelează pozitiv. Pagina de grupare reflectă asta onest (un grup mare și un număr mic de elemente izolate); nu fabrică o taxonomie ordonată a abilităților pe care datele nu o susțin.
  • Cronologiile aparițiilor sunt limitate la benchmark-urile Epoch, deoarece scorurile Epoch sunt metrici fixe de capabilitate, cu o semantică fiabilă a datei de lansare. Adăugarea LMArena sau a altui clasament bazat pe Elo ar denatura datele de bază.
  • Niciun istoric al scorurilor per model. Scorul unui model la un benchmark este fix; a-l reprezenta în timp ar sugera că modelul însuși se schimbă, ceea ce este fals.
  • Profilurile cu acoperire redusă (< 3 axe) arată punctele forte, dar nu și punctele slabe, iar poziționarea lor poartă un avertisment explicit. Nu citi un profil cu acoperire redusă ca pe o evaluare completă — exact asta nu este, în mod deliberat.

14. Istoricul modificărilor

Modificările de metodologie apar aici, nu pe tăcute în cod. Editările „cosmetice” ale textului paginii nu merită o intrare; o modificare a oricărei constante, prag sau reguli de ordonare esențiale merită.

  • 2026-09-12 — Pagina a fost creată. Toate constantele relevante pentru metodologie sunt acum referențiate prin import, nu scrise în text.

15. Cum verifici

Nimic de pe acest site nu este o cutie neagră. Oricine poate reproduce orice scor compus sau analiză din datele brute ingerate.

  1. Începe de la pagina Surse, unde găsești un link către fiecare set de date original. Fiecare valoare pe care o afișăm poate fi urmărită până la un rând anume dintr-unul din acele seturi de date, sub rezerva modificărilor listate pe cardul sursei (selecția subsetului, normalizarea schemei).
  2. Pentru a verifica manual un scor compus: clasează modelul pe fiecare axă selectată ca să obții percentilele, fă media lor ponderată, apoi aplică contracția (n · medie + 3 · 50) / (n + 3), unde n este acoperirea modelului. Valoarea contractată este cea după care se sortează rândul; la trecerea cursorului peste celula scorului compus se văd ambele.
  3. Pentru a verifica manual o valoare a divergenței: percentila cea mai mare și cea mai mică a modelului pe axele pe care apare efectiv. Divergența este diferența dintre ele; indicația divergenței de pe rând numește explicit ambele axe.
  4. Pentru a verifica manual o propoziție de analiză: apasă linkul ei „Verifică”. Linkul duce la vizualizarea /leaderboards în care sunt vizibile numerele de la bază. Propoziția nu conține niciun fapt pe care vizualizarea legată nu îl arată.

Textul unei analize care provine din șablonul determinist, nu din LLM, poartă eticheta „șablon” pe card. Este un marcaj de observabilitate, nu un semnal de calitate — formularea din șablon este varianta de rezervă sigură și este întotdeauna la fel de fidelă structurii.