Sari la conținut
aiqbenchInformații despre AI & calcul cuantic
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre
...Se încarcă sesiunea
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Înapoi la listă
perspectiva aiqbenchCipuri & infrastructură

analiza aiqbench

The article introduces a new metric, the Inference Performance Index (IPI), which argues that memory bandwidth and inter-chip communication significantly outweigh raw FLOP/s in determining actual inference capacity for agentic workloads. By establishing the Nvidia GB300 as a reference unit, this framework offers a more accurate method for benchmarking data center hardware efficiency beyond simple arithmetic throughput calculations.
1
Sursă care acoperăEpoch AI

Inference Performance Index: changing the way we measure inference capacity

Epoch AI·9 noiembrie 2026·10 min de citit·Articolul și perspectiva sunt în engleză.

De la Epoch AI

Fragment

Inference performance improvements can be much larger than changes in raw compute speed (FLOP/s) suggest. We estimate that the Nvidia GB300 provides about 25× Nvidia H100’s inference capacity per chip on the agentic inference workloads we model, with only 2.5× the 8-bit FLOP per second. Comparing FLOP/s alone would therefore underestimate GB300’s inference capacity relative to H100 by a factor of ten. This is because memory and inter-chip communication can matter more than arithmetic throughput for inference performance.

We introduce the Inference Performance Index (IPI) to capture these differences. The index compares how many requests each chip can serve at once across a range of required output speeds. IPI Version 1 focuses on agentic workloads and combines results across four representative models.

Scores are expressed in GB300 equivalents (GB300e), with GB300 scoring one by definition.1 A score of two means we estimate that a chip can serve twice as many users or agents at once as GB300, on average across the workloads and output-speed requirements in the index.

Extras afișat conform termenilor RSS ai publicației · 168 cuvinte · textul integral și figurile sunt pe site-ul publicației

Citește pe Epoch AI ↗Întreabă despre acest articol

Subiecte conexe

Cipuri & infrastructură

Hardware-Rooted AI Security That Won’t Slow You Down

NVIDIA · 2 iul. 2026

Machine learning

Statistical Inference under Performativity: From Policy Feedback to Self-Evolving Systems

arXiv · 3 nov. 2026

Produse AI

DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models

arXiv · 4 iun. 2026

Produse AI

NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut

NVIDIA · 16 sept. 2026

Article info

Source

Epoch AI

Published

9 noiembrie 2026

Read time

10 min

Category

Cipuri & infrastructură
aiqbench
Informații despre AI & calcul cuantic© aiqbench. Toate drepturile rezervate.

Fluxuri:RSS·JSON Feed

LimbăEnglish·Românăbeta
ȘtiriAI & tehnologieCuanticAnalize
ExploreazăBenchmark-uriÎnvață
CompanieDespreÎncredereInformații legaleTermeni și condițiiPolitica de confidențialitateNotificări privind drepturile de autorȘtergerea datelorRaportează conținut

Perspectiva aiqbench, analizele, rezumatul zilnic și răspunsurile din Întreabă sunt scrise de modele AI din sursele afișate, fără revizuire editorială înainte de publicare. Pot conține erori — verifică sursa. Cum este folosit modelul →

  • Știri
  • Analize
  • Întreabă
  • Topuri
  • Cont