Nvidia presenta NVHBM: una memoria ad alta banda e basso consumo per acceleratori AI
Nvidia annuncia NVHBM, una memoria personalizzata con 30% di banda maggiore e 15% di consumo inferiore rispetto a HBM4e, destinata ai partner del programma NVLink Fusion.
Nvidia ha annunciato oggi il lancio di NVHBM, una versione personalizzata della memoria ad alta banda (HBM) che promette un aumento del 30% nella banda e un calo del 15% nel consumo energetico rispetto alla versione standard HBM4e. La tecnologia, destinata ai partner del programma NVLink Fusion, rappresenta un ulteriore passo avanti nella ricerca di soluzioni ottimizzate per l’accelerazione dell’intelligenza artificiale. NVHBM non sostituisce HBM, ma si presenta come un nuovo componente per l’implementazione di chip personalizzati, con un focus su efficienza e scalabilità.
Un’innovazione per l’efficienza energetica e la banda
NVHBM è progettata per ridurre il consumo energetico e migliorare la banda di trasferimento dati, due fattori chiave per l’efficacia degli acceleratori AI. La tecnologia si basa su un chip personalizzato, con un controller di memoria integrato nel “base die” della pila HBM, e un PHY personalizzato che permette una maggiore flessibilità e riduzione del footprint. Questo approccio permette di liberare spazio sulla scheda madre, che può essere utilizzato per aggiungere ulteriori unità di calcolo, aumentando il potere di elaborazione del 30%.
La riduzione del consumo energetico permette di reinvestire l’energia risparmiata in prestazioni o in un maggiore numero di acceleratori.
Nvidia ha sottolineato che ogni watt non utilizzato per la produzione di token è un watt perso, e NVHBM è progettata per ridurre al minimo questa sprechi. La tecnologia è stata sviluppata in collaborazione con i principali fornitori di memoria, garantendo un tempo di mercato più breve rispetto all’implementazione di HBM standard. Inoltre, NVHBM semplifica il routing dell’interposer utilizzato per collegare più chip in sistemi avanzati, migliorando l’efficienza complessiva.
Un passo avanti per l’AI e le infrastrutture cloud
La tecnologia NVHBM è particolarmente utile per acceleratori AI che gestiscono grandi quantità di dati, come i pesi dei modelli e le cache KV. L’aumento della banda e la riduzione del consumo energetico si traducono in un miglioramento delle prestazioni, soprattutto quando si considera l’effetto cumulativo su migliaia di chip. Anche se non è un sostituto di HBM, NVHBM offre un’alternativa personalizzata per i partner di Nvidia che desiderano ottimizzare le loro soluzioni.
La collaborazione con aziende come Annapurna, che sviluppa i chip Trainium 4, potrebbe portare a ulteriori innovazioni nel settore.
Il programma NVLink Fusion permette a partner di Nvidia di integrare chip personalizzati nel sistema di scalabilità NVLink, e NVHBM è un ulteriore elemento del toolkit disponibile. Annapurna, ad esempio, ha espresso interesse per questa tecnologia, che potrebbe essere utilizzata nei futuri design di infrastruttura cloud. La tecnologia è già in fase di test e si preannuncia come un’alternativa promettente per chi cerca un equilibrio tra prestazioni e efficienza energetica. Con l’aumento della domanda di memoria per l’AI, NVHBM rappresenta un’innovazione significativa per il settore, offrendo un’alternativa personalizzata che potrebbe rivoluzionare il modo in cui i dati vengono gestiti e trasferiti in sistemi ad alta intensità di calcolo.