Jalapeño è il primo chip di OpenAI progettato con Broadcom

Circa 8 mesi fa, OpenAI ha annunciato l’avvio della collaborazione con Broadcom. Il primo frutto della partnership si chiama Jalapeño. Non è il famoso peperoncino messicano, ma un chip per l’inferenza AI che l’azienda guidata da Sam Altman utilizzerà per ChatGPT e altri servizi.

Primo chip custom di OpenAI

Come è noto, OpenAI ha sottoscritto accordi miliardari con vari fornitori per l’uso di memorie, GPU e altri componenti hardware necessari all’addestramento e all’inferenza dei modelli AI. Diversi concorrenti, in particolare Amazon, Google, Meta e Microsoft, sfruttano anche chip proprietari per ridurre la dipendenza da NVIDIA, leader indiscusso del mercato. Jalapeño è il primo chip custom di OpenAI progettato in collaborazione con Broadcom.

Non ci sono informazioni tecniche, ma sicuramente non può competere con le GPU di NVIDIA in termini di prestazioni. Nel comunicato stampa viene infatti evidenziato che verrà usato per l’inferenza degli LLM (Large Language Model), ovvero quando ChatGPT risponderà ai prompt degli utenti.

In dettaglio, Jalapeño è un ASIC (Application Specific Integrated Circuit), un chip specializzato nell’esecuzione di specifiche attività (in questo caso l’inferenza AI). È quindi meno flessibile di una GPU NVIDIA, ma decisamente più economico. Jalapeño è stato progettato da zero dagli ingegneri di OpenAI, quindi è ottimizzato per i suoi modelli.

Un report sulle prestazioni verrà pubblicato nei prossimi mesi. In base ai test preliminari, le prestazioni per Watt sono superiori a quelle dei chip attuali. Jalapeño verrà utilizzato a partire da fine anno all’interno dei server realizzati da Celestica ad uso esclusivo di OpenAI.

Il chip dovrebbe consentire una riduzione dei costi e quindi meno limitazioni durante l’uso di ChatGPT (soprattutto il numero di prompt) per gli utenti che non sottoscrivono l’abbonamento.