Nieuws

Werkgeheugen

SanDisk heeft ‘High Bandwidth Flash’ ontwikkeld wat GPU’s met 4 TB VRAM mogelijk zou maken

Portret van de auteur


SanDisk heeft ‘High Bandwidth Flash’ ontwikkeld wat GPU’s met 4 TB VRAM mogelijk zou maken
0

Advertentie

Het zogenaamde HBF-geheugen combineert de capaciteit van 3D NAND geheugen met de bandbreedte van HBM-geheugen. Hiermee kan het geheugen een zeer hoge capaciteit behalen, maar toch snel genoeg zijn om in te zetten in bijvoorbeeld AI-accelerators.

De eerste generatie HBF technologie moet het mogelijk maken om maar liefst 4TB aan vram bij een gpu te plaatsen. Volgens SanDisk zou de technologie acht tot zestien keer meer capaciteit opleveren tegenover HBM met een vergelijkbare prijs. Qua ontwerp lijkt HBF ook behoorlijk op HBM. Het is namelijk een opeenstapeling van verschillende NAND-flash dies die dankzij ‘through-silicon vias’ (TSV’s) allemaal parallel data kunnen versturen.

In SSD’s wordt ook NAND gebruikt, maar hier worden de verschillende lagen vooral ingezet om zo efficiënt en goedkoop mogelijk zo veel mogelijk capaciteit met de rest van de ssd te verbinden. In het geval van HBF worden kleinere bundels NAND allemaal parallel verbonden aan de onderliggende ‘logic die’ en interposer. Dit maakt dergelijke combinaties duurder en minder efficiënt, maar zorgt wel voor een zeer hoge bandbreedte en dat maakt het inzetbaar voor andere toepassingen.


Voor de eerste generatie HBF worden 16 ‘core-dies’ op elkaar gestapeld voor een enkele chip. Deze worden gekoppeld aan een onderliggende ‘logic-die’ die met elk van deze core-dies verbonden is. De logic-die vervult in essentie de rol van een controller in een ssd, maar moet dus vele malen meer data per seconde kunnen verwerken. Dit lijkt dan ook het belangrijkste onderdeel van de technologie te zijn, maar SanDisk laat weinig los over de logic-die. Het bedrijf geeft ook geen exacte prestatiecijfers, maar geeft wel toe dat de latency van het geheugen niet heel goed is. Dit beperkt de inzet van het geheugen tot AI-applicaties die voornamelijk bandbreedte en capaciteit vereisen. 

Het is niet duidelijk hoe de bandbreedte zich daadwerkelijk verhoudt met bijvoorbeeld de 1TB/s per chip van HBM3E, maar de capaciteit is wel indrukwekkend. Waar HBM3E maximaal 24 GB per chip aan capaciteit heeft ligt dat 21 keer hoger bij HBF met 512 GB per chip. In totaal zou een gpu die nu 192 GB aan geheugen heeft dus 4 TB aan geheugen kunnen krijgen met een vergelijkbare opstelling met acht geheugenchips. Wat wel een zorgelijk punt kan zijn is de beperkte levensduur van NAND vergeleken met andere geheugentechnologieën. Hier geeft SanDisk dan ook weinig informatie over, dus de tijd zal het leren. SanDisk heeft in ieder geval zelf wel vertrouwen in de technologie, want het bedrijf heeft al plannen voor de toekomst met een tweede en derde generatie.

Bronnen en meer links REACTIES (0)