Geheugen staat nu op de voorgrond in de computerindustrie, waar decennialang rekenkracht domineerde. De prijzen van DRAM en flashopslag zijn sterk gestegen, en fabrikanten van GPU’s en XPU’s proberen het maximale te halen uit het HBM-geheugen dat hen wordt toegewezen.
- Geheugen heeft de rekenkracht als controlepunt van de computerindustrie verdrongen.
- De prijzen van DRAM, flash en HBM stijgen sterk door de zeer grote vraag.
- De HBM-markt is gesloten en de prijsinformatie blijft onzeker.
- Ontwerpers zoeken naar manieren om HBM efficiënter in te zetten, zoals NVHBM.
Vijf decennia lang hebben de processor (CPU) en, sinds ongeveer vijftien jaar, de GPU’s de aandacht van de IT-budgetten opgeëist, terwijl geheugen, opslag en in-/uitvoer secundair bleven. Met machine learning, vervolgens generatieve AI en agentische AI, heeft geheugen de hoofdrol overgenomen en rekenkracht verdrongen als het controlepunt voor het grootste deel van de sector. De wereldwijde halfgeleidermarkt is bijna verdubbeld tussen 2025 en 2026, maar de groeipercentages die door Gartner zijn aangekondigd vertragen tussen 2026 en 2027.
De vraag naar DRAM, HBM-geheugen en flash is zeer sterk. Bedrijven vervangen servers van vijf, zes of zeven jaar oud en proberen een maximum aan kernen in een beperkte ruimte te concentreren, wat de behoefte aan hoogcapaciteitsgeheugen en -opslag vergroot. Fabrikanten schakelen bovendien een deel van hun DRAM-capaciteit om naar HBM, bestemd voor AI-versnellers, wat het aanbod van conventionele DRAM onder druk zet.
De prijzen zijn sterk gestegen. In november 2022, bij de lancering van ChatGPT door OpenAI, kostte DDR4 voor servers ongeveer 3 dollar per GB en DDR5 ongeveer 4 dollar per GB, gemiddeld voor middelgrote capaciteiten. Vier jaar later wordt DDR4 voor servers 2X tot 3X duurder verkocht, DDR5 9X tot 13X duurder, en een 30 TB TLC SSD voor bedrijven 6X tot 7X duurder, terwijl die tussen de 10 en 13 cent per GB kostte. Harde schijven van 30 TB zijn in dezelfde periode ongeveer 2,5X duurder geworden, waarbij hyperscalers het leeuwendeel van het aanbod hebben gecontracteerd bij Seagate, Western Digital en Toshiba.
HBM, een gesloten markt
HBM, een gestapeld hoogbandbreedtegeheugen dat dicht bij de processor wordt geplaatst, wordt geproduceerd door drie fabrikanten: Samsung, SK Hynix en Micron Technology. Het heeft geen openbare marktprijs, omdat de volumes zijn gereserveerd voor Nvidia, AMD en XPU-fabrikanten, en prijsinformatie blijft onzeker. Volgens geruchten is de prijs gestegen van ongeveer 20 dollar per GB voor HBM2 in 2017, naar ongeveer 8 dollar twee jaar later, en vervolgens naar ongeveer 13,50 dollar per GB voor HBM3E. HBM4 zou rond de 16 dollar per GB liggen, en het contract van Nvidia zou zijn vastgesteld op 560 tot 600 dollar per stack van 36 GB.
Volgens de auteur van de analyse is de kosten per GB van de voltooide HBM-chips sinds het begin van de generatieve AI-boom slechts met 1,6X gestegen. Voor eindgebruikers daarentegen zou HBM ongeveer de helft van de kosten van een GPU van Nvidia of AMD uitmaken, en bijna 65% van die van een XPU-versneller, vooral sinds OpenAI de race is ingegaan met zijn ‘Jalapeno’-versneller.
Ontwerpkeuzes onder beperkingen
Volgens geruchten zou Nvidia deels afzien van zijn oorspronkelijke plannen voor de GPU ‘Rubin Ultra’, gepland voor 2027, die tot 1 TB HBM4E zou moeten bevatten, en zou het kunnen dalen tot 192 GB voor bepaalde toekomstige ontwerpen. AMD houdt 488 GB aan voor zijn GPU ‘Altair’ MI455X. Nvidia beschrijft een benadering genaamd NVHBM, waarbij de geheugencontroller is geïntegreerd in de HBM-stack: ‘Door de geheugencontroller te integreren in de 3D HBM-stack in plaats van in de XPU, biedt NVHBM tot 30% meer geheugenbandbreedte en 15% minder HBM-stroomverbruik, en maakt het tot 25% extra oppervlak vrij op de XPU-rekenchip vergeleken met een standaard HBM4E.’
De auteur schat dat de Rubin Ultra dit vrijgemaakte oppervlak zou kunnen benutten om 512 GB HBM4E aan te bieden, of zelfs 384 GB met identieke bandbreedte. Hij herinnert eraan dat de initiële versie vier stacks per chiplet telde, ofwel 1024 GB, voor een geaggregeerde bandbreedte van 58 TB/s. Door de hoogte van de stacks te verkleinen en het aantal chiplets te halveren, zou men 28 TB/s kunnen behouden met 256, 384 of 512 GB, afhankelijk van het aantal gestapelde lagen.
