aiqbenchInformații despre AI & calcul cuantic

...

Română · beta. Traducerea a fost făcută automat și este încă în curs de revizuire. Citește pagina în engleză

perspectiva aiqbenchProduse AI

Multiverse Computing's CompactifAI technology significantly enhances LLM inference efficiency by enabling larger models like Llama 3.3 to run effectively on Intel Xeon CPUs, addressing critical constraints in energy usage and hardware accessibility for enterprise deployment. This advancement demonstrates that model compression can unlock substantial throughput gains without sacrificing accuracy, making high-performance AI more viable outside of specialized GPU clusters.

Sursă care acoperăQuantum Zeitgeist

Ce este aceastaLectura unui model asupra articolului și a acoperirii conexe, scrisă pentru aiqbench. Nu sunt cuvintele publicației.

Intel says Multiverse Computing’s AI Compression boosts token throughput 94.1%

Quantum Zeitgeist23 iulie 20264 min de cititArticolul și perspectiva sunt în engleză.

Multiverse Computing’s CompactifAI, an AI model compression technology, delivers a 94.1% increase in token throughput on Intel Xeon 6 processors.

Multiverse Computing reports a 94.1% increase in total token throughput achieved by its CompactifAI-compressed Llama 3.3 70B model running on Intel Xeon 6 processors. This advancement utilizes vLLM CPU and Intel Advanced Matrix Extensions to deliver more energy-efficient and scalable artificial intelligence. Benchmarks using an Intel Xeon 6737P processor show the compressed model processed a request with 1,024 input and 1,024 output tokens in 2,598.22 seconds, a 48.6% reduction in latency compared to the…

Extras afișat conform termenilor RSS ai publicației · 74 cuvinte · textul integral și figurile sunt pe site-ul publicației

Citește pe Quantum Zeitgeist ↗Întreabă despre acest articol