Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză
Frontiera capabilităților în timp
Fiecare benchmark Epoch, reprezentat la data de lansare a fiecărui model evaluat pe el. Pe măsură ce apar modele noi, plafonul a ceea ce s-a realizat continuă să urce — o tendință reală, distinctă de (și adesea confundată cu) îmbunătățirea în timp a modelelor individuale.
Un punct per model, la data lui de lansare. Linia urmărește cel mai bun scor cunoscut în fiecare moment.
Glisează lateral pentru a vedea tot graficul →
Modelul la data lui de lansareCel mai bun scor curent (frontiera)Intervalul de încredere al scorului
Citește-l ca pe un grafic de frontieră, nu ca pe o traiectorie per model. Scorul unui model fix pe un benchmark fix nu se schimbă în timp — numărul GPQA al lui Claude 3.5 Sonnet de azi este același pe care Anthropic l-a raportat la lansare. Linia urcă pentru că apar mereu modele mai bune, nu pentru că vreun model anume s-a îmbunătățit. Ca să vezi cum se schimbă în timp scorul unui singur model (pe măsură ce evaluarea lui este rerulată cu alte scaffold-uri, de exemplu) e nevoie de alt fel de date: instantanee zilnice ale fiecărui clasament, pe care le vom reprezenta după ce se vor acumula câteva săptămâni.
4 modele nu au o dată de lansare cunoscută și nu sunt reprezentate.
Benchmark-uri · frontieră
Reperele frontierei
De fiecare dată când un plafon s-a mutat: cine, ce benchmark, cu cât. Atinge un sparkline ca să alegi un benchmark — graficul de mai sus îl urmează; atinge o organizație ca să filtrezi după laborator. Fiecare eveniment este diferența celui mai bun scor curent pe care îl desenează graficul.