La memoria è ora in primo piano nell’industria informatica, laddove il calcolo ha dominato per decenni. I prezzi della DRAM e della memoria flash sono aumentati significativamente, e i produttori di GPU e XPU cercano di ottenere il massimo dalla memoria HBM loro assegnata.
- La memoria ha superato il calcolo come punto centrale dell’industria informatica, spinta dall’IA.
- I prezzi di DRAM, memoria flash e HBM sono aumentati molto, e la domanda resta forte.
- La HBM è prodotta da tre soli fornitori, e le sue informazioni sui prezzi restano incerte.
- Nvidia potrebbe ridurre la memoria prevista per Rubin Ultra, mentre NVHBM promette più larghezza di banda.
Per cinque decenni, il processore (CPU), e poi le GPU negli ultimi quindici anni, hanno concentrato l’attenzione dei budget informatici, mentre la memoria, l’archiviazione e l’I/O sono rimasti secondari. Con l’apprendimento automatico, poi l’IA generativa e l’IA agentica, la memoria ha preso il centro della scena e ha soppiantato il calcolo come punto di controllo della maggior parte del settore. Il mercato globale dei semiconduttori è quasi raddoppiato tra il 2025 e il 2026, ma i tassi di crescita annunciati da Gartner stanno rallentando tra il 2026 e il 2027.
La domanda di DRAM, memoria HBM e flash è molto forte. Le aziende stanno sostituendo server di cinque, sei o sette anni e cercano di concentrare il massimo numero di core in uno spazio ridotto, il che aumenta il bisogno di memoria e archiviazione ad alta capacità. I produttori stanno inoltre dirottando parte della loro capacità DRAM verso la HBM, destinata agli acceleratori per l’IA, mettendo sotto pressione l’offerta di DRAM convenzionale.
I prezzi sono aumentati notevolmente. Nel novembre 2022, al momento del lancio di ChatGPT da parte di OpenAI, la DDR4 per server costava circa 3 dollari per GB e la DDR5 circa 4 dollari per GB, in media su capacità intermedie. Quattro anni dopo, la DDR4 per server viene venduta a 2X o 3X il prezzo, la DDR5 a 9X o 13X il prezzo, e un SSD TLC aziendale da 30 TB costa 6X o 7X di più, mentre prima costava tra 10 e 13 centesimi per GB. Gli hard disk da 30 TB sono costati circa 2,5X di più nello stesso periodo, con gli hyperscaler che hanno assorbito la maggior parte dell’offerta di Seagate, Western Digital e Toshiba.
La HBM, un mercato chiuso
La HBM, una memoria impilata ad alta larghezza di banda posta vicino al processore, è prodotta da tre produttori: Samsung, SK Hynix e Micron Technology. Non ha un prezzo di mercato pubblico, poiché i suoi volumi sono riservati a Nvidia, AMD e ai produttori di XPU, e le informazioni sui prezzi rimangono incerte. Secondo voci, il prezzo è passato da circa 20 dollari per GB per la HBM2, nel 2017, a circa 8 dollari due anni dopo, poi a circa 13,50 dollari per GB per la HBM3E. La HBM4 si aggirerebbe intorno ai 16 dollari per GB, e il contratto di Nvidia sarebbe stato fissato a 560-600 dollari per stack da 36 GB.
Secondo l’autore dell’analisi, il costo per GB dei chip HBM finiti è aumentato solo di 1,6X dall’inizio del boom dell’IA generativa. Per gli utenti finali, invece, la HBM peserebbe circa la metà del costo di una GPU di Nvidia o AMD, e quasi il 65% quello di un acceleratore XPU, soprattutto da quando OpenAI è entrata in gara con il suo acceleratore ‘Jalapeno’.
Scelte di progettazione vincolate
Secondo voci, Nvidia rinuncerebbe in parte ai suoi piani iniziali per la GPU ‘Rubin Ultra’, prevista per il 2027, che doveva avere fino a 1 TB di HBM4E, e potrebbe scendere a 192 GB su alcuni progetti futuri. AMD mantiene 488 GB per la sua GPU ‘Altair’ MI455X. Nvidia descrive un approccio chiamato NVHBM, in cui il controller di memoria è integrato nello stack HBM: ‘Integrando il controller di memoria nello stack HBM 3D anziché nell’XPU, NVHBM offre fino al 30% in più di larghezza di banda di memoria e il 15% in meno di consumo energetico HBM, e libera fino al 25% di superficie aggiuntiva sul chip di calcolo XPU rispetto a una HBM4E standard.’
L’autore ritiene che il Rubin Ultra potrebbe sfruttare questa superficie liberata per offrire 512 GB di HBM4E, o anche 384 GB a parità di larghezza di banda. Ricorda che la versione iniziale prevedeva quattro stack per chiplet, ovvero 1024 GB, per una larghezza di banda aggregata di 58 TB/s. Riducendo l’altezza degli stack e dimezzando il numero di chiplets, si potrebbe mantenere 28 TB/s con 256, 384 o 512 GB, a seconda del numero di strati impilati.
