I datacenter di xAI sono estremamente inefficienti: solo l'11% di GPU in uso

Avete presente che in questo periodo RAM, laptop, SSD e praticamente qualsiasi dispositivo dotato di memoria di fascia alta costa un sacco di più perché le cosiddette “big AI” si mangiano tutta la produzione, al fine di costruire enormi datacenter costituiti da centinaia di migliaia di potentissimi acceleratori AI NVIDIA? Beh, ad aggiungere una considerevole beffa all’altrettanto significativo danno, salta fuori che la maggior parte degli acceleratori se ne sta pure inerte la maggior parte del tempo.

Un recente report di The Information evidenzia quanto tremendamente inefficiente sia ancora lo stack software di questi datacenter. xAI, per esempio, riuscirebbe a sfruttare poco più dell’11% della propria flotta di GPU NVIDIA, nonostante numeri assoluti imponenti. L’infrastruttura conta circa 550.000 acceleratori, tra modelli H100 e H200, distribuiti nei cluster Memphis e Colossus. Anche se non si tratta proprio dell’ultimissima generazione, è uno degli impianti più grossi del settore. Il problema è che, in termini effettivi, solo l’equivalente di circa 60.000 GPU lavora davvero a tempo pieno.

xAI’s GPU fleet is running at about 11% utilization, exposing how hard it is for AI labs to fully use expensive Nvidia hardware.

Read more in our AI Agenda newsletter: https://t.co/32tIx6HLf8

---

Il miglior iPhone di sempre? Apple iPhone 17 Pro, compralo al miglior prezzo da Smarterstore.it a 1,159 euro.

CLICCA QUI PER CONTINUARE A LEGGERE