Frontiera capabilităților în timp

Citește-l ca pe un grafic de frontieră, nu ca pe o traiectorie per model. Scorul unui model fix pe un benchmark fix nu se schimbă în timp — numărul GPQA al lui Claude 3.5 Sonnet de azi este același pe care Anthropic l-a raportat la lansare. Linia urcă pentru că apar mereu modele mai bune, nu pentru că vreun model anume s-a îmbunătățit. Ca să vezi cum se schimbă în timp scorul unui singur model (pe măsură ce evaluarea lui este rerulată cu alte scaffold-uri, de exemplu) e nevoie de alt fel de date: instantanee zilnice ale fiecărui clasament, pe care le vom reprezenta după ce se vor acumula câteva săptămâni.

17 modele nu au o dată de lansare cunoscută și nu sunt reprezentate.