Sari la conținut
aiqbenchInformații despre AI & calcul cuantic
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre
...Se încarcă sesiunea
ȘtiriAnalizeBenchmark-uriSkill-uriÎntreabă AIÎnvațăDespre

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

Înapoi la listă
perspectiva aiqbenchCipuri & infrastructură

analiza aiqbench

This announcement is about making Google's TPUs a more practical target for serving large AI models. Developers can run vLLM and SGLang through a native PyTorch backend instead of the existing JAX-based paths, which matters most to teams that already work in PyTorch and want to customize or debug their serving stack. The performance and cost claims are vendor-published benchmarks on Ironwood TPUs, so readers should check them against their own long-context and agentic workloads before drawing conclusions.
2
Surse care acoperăGoogle Developers Blog, vLLM Blog

Announcing New vLLM and SGLang Inference Engines on TPU

Google Developers Blog·20 octombrie 2026·6 min de citit·Articolul și perspectiva sunt în engleză.

De la Google Developers Blog

Fragment

This post announces native PyTorch backends for vLLM and SGLang powered by TorchTPU, enabling developers to run and optimize serving workloads using familiar PyTorch tools. Built in collaboration with open-source project maintainers, these engines include optimized TPU kernel implementations, production-ready features like KV cache management with TPU Sync, and disaggregated serving. Public benchmarks demonstrate state-of-the-art performance and industry-leading cost efficiency on Ironwood TPU across long-context and agentic workloads.

As part of our broader announcements for PyTorch today, we are excited to launch native PyTorch backends for vLLM (developed in partnership with Inferact) and SGLang (developed in partnership with RadixArk).

For years, TPUs have powered large-scale AI workloads with high performance and efficiency. With the rise of agentic and multimodal workloads, serving efficiently is more important than ever. Both engines already run on TPU through JAX-based backends, but we kept hearing from developers that they wanted to customize and debug their serving stack in PyTorch.

So we started in earnest on TorchTPU, which runs PyTorch natively on TPU. We then built new vLLM and SGLang engines on top of it.

Extras afișat conform termenilor RSS ai publicației · 111 cuvinte · textul integral și figurile sunt pe site-ul publicației

Citește pe Google Developers Blog ↗Întreabă despre acest articol

Alte relatări ale acestei știri

  1. 20 oct.Google Developers Blog · acest articol
  2. 20 oct.vLLM Blog · Introducing vLLM TorchTPU

Subiecte conexe

Cipuri & infrastructură

[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback

Latent Space · 21 oct. 2026

Cipuri & infrastructură

AMD and Cerebras Announce Disaggregated AI Inference

Cerebras · 23 iul. 2026

Cercetare AI

What Type of Inference is Active Inference?

arXiv · 12 iun. 2026

Cercetare AI

What Type of Inference is Active Inference?

arXiv · 4 iun. 2026

Alte relatări ale acestei știri

  1. 20 oct.Google Developers Blog · acest articol
  2. 20 oct.vLLM Blog · Introducing vLLM TorchTPU

Article info

Source

Google Developers Blog

Published

20 octombrie 2026

Read time

6 min

Category

Cipuri & infrastructură
aiqbench
Informații despre AI & calcul cuantic© aiqbench. Toate drepturile rezervate.

Fluxuri:RSS·JSON Feed

LimbăEnglish·Românăbeta
ȘtiriAI & tehnologieCuanticAnalize
ExploreazăBenchmark-uriÎnvață
CompanieDespreÎncredereInformații legaleTermeni și condițiiPolitica de confidențialitateNotificări privind drepturile de autorȘtergerea datelorRaportează conținut

Perspectiva aiqbench, analizele, rezumatul zilnic și răspunsurile din Întreabă sunt scrise de modele AI din sursele afișate, fără revizuire editorială înainte de publicare. Pot conține erori — verifică sursa. Cum este folosit modelul →

  • Știri
  • Analize
  • Întreabă
  • Topuri
  • Cont