Sari la conținut
aiqbenchInformații despre AI & calcul cuantic
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre
...Se încarcă sesiunea
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Înapoi la listă
perspectiva aiqbenchCipuri & infrastructură

analiza aiqbench

The article covers software enablement for NVIDIA's Vera Rubin NVL72 rack, mainly vLLM inference support, Rubin-tuned FlashInfer kernels, and locality-aware MoE. Its headline 7.8x per-GPU throughput gain over GB200 NVL72 comes from a single benchmark (AgentX) and is an early, partly vendor-influenced result, so it should be weighed against independent benchmarks. For readers, the more durable signal is that Blackwell kernels carry over to Rubin and that inference-serving software is being co-designed with new hardware from day zero.
1
Sursă care acoperăvLLM Blog

vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72

vLLM Blog·9 octombrie 2026·10 min de citit·Articolul și perspectiva sunt în engleză.

De la vLLM Blog

Fragment

vLLM now runs on NVIDIA Vera Rubin NVL72 with day-0 model support, Rubin-tuned FlashInfer kernels, and locality-aware MoE, delivering 7.8x the per-GPU throughput of GB200 NVL72 on AgentX.

vLLM now supports Vera Rubin NVL72!

NVIDIA Vera Rubin is the next-generation platform built for agentic inference. Inferact, NVIDIA, Red Hat, and the vLLM community have been bringing vLLM up on Vera Rubin NVL72 since it was announced, and vLLM runs on Vera Rubin NVL72 today with daily container builds and support for models from DeepSeek, Moonshot AI, Z.ai, and MiniMax.

Vera Rubin NVL72 hardware: 5x the NVFP4 FLOPS, about 2.4x the HBM bandwidth and 1.7x the bidirectional NVLink bandwidth of GB200 NVL72, with 2-4x faster exponentials for softmax.

Day-0 support: Rubin builds on Blackwell's architecture family, so vLLM’s Blackwell kernels are compatible with Rubin. Thanks to this, vLLM already supports diverse models such as DeepSeek, Kimi, GLM, and MiniMax on Rubin.

Rubin-tuned kernels: Through FlashInfer 0.7.0, vLLM gets Rubin-tuned attention, GEMM, and MoE kernels. We have also tuned our MiniMax Sparse Attention (MSA) prefill kernel for Rubin.

Locality-aware MoE: To make best use of Rubin's increased HBM bandwidth, we leverage CUDA 13.4's locality domains to split the MoE weights. This allows the SMs to read weights only from the memory nearest to them.

Extras afișat conform termenilor RSS ai publicației · 184 cuvinte · textul integral și figurile sunt pe site-ul publicației

Citește pe vLLM Blog ↗Întreabă despre acest articol

Subiecte conexe

Cipuri & infrastructură

Niagara Networks launches 90 Gbps TLS decryption with post-quantum crypto

Quantum Zeitgeist · 9 nov. 2026

Cercetare AI

Sparse Bayesian Modeling of EEG Channel Interactions Improves P300 Brain-Computer Interface Performance

arXiv · 17 sept. 2026

Machine learning

DeltaVisionX: A Low-Cost Vision-Guided Automation System Using YOLOv11 and PLC-Based Actuation

arXiv · 16 nov. 2026

Cipuri & infrastructură

[AINews] Anthropic successfully completes largest IPO in history, valued at $1.5T

Latent Space · 20 nov. 2026

Article info

Source

vLLM Blog

Published

9 octombrie 2026

Read time

10 min

Category

Cipuri & infrastructură
aiqbench
Informații despre AI & calcul cuantic© aiqbench. Toate drepturile rezervate.

Fluxuri:RSS·JSON Feed

LimbăEnglish·Românăbeta
ȘtiriAI & tehnologieCuanticAnalize
ExploreazăBenchmark-uriÎnvață
CompanieDespreÎncredereInformații legaleTermeni și condițiiPolitica de confidențialitateNotificări privind drepturile de autorȘtergerea datelorRaportează conținut

Perspectiva aiqbench, analizele, rezumatul zilnic și răspunsurile din Întreabă sunt scrise de modele AI din sursele afișate, fără revizuire editorială înainte de publicare. Pot conține erori — verifică sursa. Cum este folosit modelul →

  • Știri
  • Analize
  • Întreabă
  • Topuri
  • Cont