Sari la conținut
aiqbenchInformații despre AI & calcul cuantic
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre
...Se încarcă sesiunea
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Înapoi la listă
perspectiva aiqbenchCercetare AI

analiza aiqbench

GDPx introduces a novel benchmarking approach that prioritizes high-ROI sectors like finance and hardware design over broad economic metrics, revealing how safety classifiers artificially suppress scores for frontier models in critical domains such as cybersecurity and biology. The results highlight distinct performance gaps between leading closed-source models and open-weight alternatives, while demonstrating that specific models excel in niche areas when evaluated without restrictive safety filters.
1
Sursă care acoperăSemiAnalysis

GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains

SemiAnalysis·2 noiembrie 2026·71 min de citit·Articolul și perspectiva sunt în engleză.

De la SemiAnalysis

Fragment

GDPx is a benchmark that covers the most valuable domains for frontier intelligence. It aims to be the world’s best benchmark for measuring general agentic capabilities.

We believe the first trillion dollars of AI revenue will be concentrated in sectors that can deploy frontier intelligence at high ROI, not broadly diffused throughout the whole economy. Building a general-purpose benchmark based on share of GDP or the SOC/O*NET occupational taxonomy is therefore a mistake. If your goal is to track the progress of frontier models, you should focus on the domains where they will be most impactful.

And intentionally forgo industries like government, real estate, and insurance.

GDPx is a true frontier-level benchmark: even the best model scores just 12%.

It’s worth emphasizing that certain models like Opus 5.5 and GPT-6 Astra have sandbagged overall scores due to their safety classifiers. If we exclude cyber, biology, and alignment—the three domains where safety classifiers sometimes kick in—you get the following results instead.

We were pleasantly surprised by how well this ranking lines up with our subjective impression of the models. OpenAI and Anthropic generally dominate the top of the ranking while SpaceXAI, Meta, and open-weight models are all meaningfully behind.

Extras afișat conform termenilor RSS ai publicației · 198 cuvinte · textul integral și figurile sunt pe site-ul publicației

Citește pe SemiAnalysis ↗Întreabă despre acest articol

Subiecte conexe

Siguranță AI

SOTA alignment assessments don’t strongly update us against misalignment

Redwood Research · 31 iul. 2026

Siguranță AI

Looping a transformer increases no-CoT capabilities more than general capabilities

AI Alignment Forum · 12 nov. 2026

Cercetare AI

How an assessor could investigate evidence of acceleration from the automation of AI R&D

METR · 14 oct. 2026

Siguranță AI

Evaluating Red Team and Blue Team Capability for AI Control Research

LessWrong · 24 iul. 2026

Article info

Source

SemiAnalysis

Published

2 noiembrie 2026

Read time

71 min

Category

Cercetare AI
aiqbench
Informații despre AI & calcul cuantic© aiqbench. Toate drepturile rezervate.

Fluxuri:RSS·JSON Feed

LimbăEnglish·Românăbeta
ȘtiriAI & tehnologieCuanticAnalize
ExploreazăBenchmark-uriÎnvață
CompanieDespreÎncredereInformații legaleTermeni și condițiiPolitica de confidențialitateNotificări privind drepturile de autorȘtergerea datelorRaportează conținut

Perspectiva aiqbench, analizele, rezumatul zilnic și răspunsurile din Întreabă sunt scrise de modele AI din sursele afișate, fără revizuire editorială înainte de publicare. Pot conține erori — verifică sursa. Cum este folosit modelul →

  • Știri
  • Analize
  • Întreabă
  • Topuri
  • Cont