Advertentie
Microsoft heeft deze week hun nieuwe Azure HBv5-virtuele machines gelanceerd. Een opvallend detail: deze machines bieden een achtmaal hogere geheugenbandbreedte dan hun voorgangers. Dit indrukwekkende resultaat werd bereikt doordat AMD een speciale EPYC CPU heeft ontwikkeld, uitgerust met HBM3-geheugen. Volgens Microsoft helpt deze technologie de grootste bottleneck in high-performance computing (HPC) te overwinnen.
Voorheen gebruikte Microsoft Milan-X- en Genoa-X-CPU's, bekend om AMD’s 3D V-Cache-technologie. Echter, voor bepaalde toepassingen was er behoefte aan nóg meer snelheid. HBM (High Bandwidth Memory) wordt doorgaans ingezet in datacenter-GPU’s, zoals AMD’s MI300X. Het HBM3-geheugen fungeert hier als een extra grote L4-cache, met veel meer bandbreedte maar hogere latency dan traditionele cachelagen. Hoewel dit nadelig kan zijn voor sommige workloads, is het ideaal voor andere toepassingen.
De HBv5-instances zijn verre van bescheiden uitgerust. Enkele specificaties van één apparaat:
- Geheugen: 450 GB HBM3
- Cores: 352 Zen 4-cores (tot 4 GHz), zonder SMT
- Infinity Fabric: Verdubbelde capaciteit ten opzichte van standaard EPYC CPU's
- Netwerk: 800 Gbps via NVIDIA Quantum-2 Infiniband
Volgens Tom’s Hardware lijken de specificaties sterk op geruchten over een MI300C-chip, een aangepaste versie van de MI300A-APU zonder CDNA3-graphics, maar met Zen 4 CCD’s. Deze configuratie resulteert in een 96-core CPU met HBM3-geheugen, wat overeenkomt met de kloksnelheden van de HBv5-VM’s (tot 3,7 GHz).
Hoewel de chip mogelijk niet volledig custom is, benadrukte Glenn Lockwood, een ingenieur bij Microsoft, op Bluesky dat deze CPU exclusief beschikbaar is voor Azure-systemen. Het gebruik van HBM3 is zeldzaam in CPU's, voornamelijk vanwege de hoge kosten en technische eisen. Het ontwerp laat geen ruimte voor goedkope varianten met minder geheugenkanalen, waardoor de marktvraag beperkt blijft.
Intel heeft eerder een soortgelijke aanpak gevolgd met HBM-gebaseerde CPU’s, zoals de Xeon Max uit de Sapphire Rapids-lijn, die werd ingezet in de Aurora-supercomputer. Of er HBM-versies zullen komen van toekomstige Intel-processoren zoals Emerald Rapids of Granite Rapids, is nog onduidelijk. Het gebrek aan commerciële successen kan een rol spelen in deze onzekerheid.
Het is goed mogelijk dat AMD eerst een specifieke deal met Microsoft sloot voor de ontwikkeling van de MI300C, waarna deze chip werd geoptimaliseerd voor Azure. Het blijft een interessante ontwikkeling om te volgen.