High Bandwidth Memory

La HBM atteint une bande passante plus élevée que la DDR4 ou la GDDR5 tout en consommant moins d’énergie et dans un encombrement nettement plus faible^[11]. Ceci est réalisé en empilant jusqu’à huit puces DRAM et une puce de base en option qui peut inclure un circuit tampon et une logique de test^[12]. La pile est souvent connectée au contrôleur mémoire d’un GPU ou d’un CPU via un substrat, tel qu’un interposeur (en) en silicium^[13],[14]. Alternativement, la puce mémoire peut être empilée directement sur la puce CPU ou GPU. Dans la pile, les puces sont interconnectées verticalement par des vias traversant le silicium (TSV) et des microbosses (en). La technologie HBM est similaire dans son principe mais incompatible avec l’interface Hybrid Memory Cube (HMC) développée par Micron Technology^[15].

Le bus mémoire HBM est très large par rapport aux autres mémoires DRAM telles que la DDR4 ou la GDDR5. Une pile HBM de quatre puces DRAM (4-Hi) a deux canaux 128 bits par puce, soit un total de 8 canaux et une largeur de bus totale de 1024 bits. Une carte graphique/GPU avec quatre piles 4-Hi HBM aurait donc un bus mémoire d’une largeur de 4096 bits. En comparaison, la largeur de bus des mémoires GDDR est de 32 bits, une carte graphique avec 16 canaux aura une interface mémoire de 512 bits^[16]. HBM prend en charge jusqu’à 4 Go par boîtier.

Le plus grand nombre de connexions à la mémoire, par rapport à la DDR4 ou GDDR5, nécessitait une nouvelle méthode de connexion de la mémoire HBM au GPU (ou à un autre processeur)^[17]. AMD et Nvidia ont tous deux utilisé des puces de silicium spécialement conçues, appelées interposeurs (en), pour connecter la mémoire et le GPU. Cet interposeur a l’avantage supplémentaire de nécessiter que la mémoire et le processeur soient physiquement proches, ce qui réduit les chemins de mémoire. Cependant, comme la fabrication de dispositifs semi-conducteurs est nettement plus chère que la fabrication de circuits imprimés, cela ajoute un coût au produit final.

La deuxième génération de mémoire à large bande passante, HBM2, spécifie également jusqu’à huit puces par pile et double les taux de transfert, jusqu’à 2 GT/s par broche. En conservant un accès large de 1024 bits, HBM2 est capable d’atteindre 256 Go/s de bande passante mémoire par boîtier. La spécification HBM2 autorise jusqu’à 8 Go par boîtier. HBM2 devrait être particulièrement utile pour les applications grand public sensibles aux performances telles que la réalité virtuelle^[18].

Le 19 janvier 2016, Samsung a annoncé un début de production de masse de HBM2, jusqu’à 8 Go par pile^[19],[20]. SK Hynix a également annoncé la disponibilité de piles de 4 Go en août 2016^[21].

• 
  Puce DRAM HBM2
• 
  Puce contrôleur HBM2
• 
  L'interposeur HBM2 d'un GPU Radeon RX Vega 64, avec les puces HBM retirées ; le GPU est encore en place

Fin 2020, Micron a annoncé que la norme HBM2E serait mise à jour et, parallèlement, elle a dévoilé la prochaine norme connue sous le nom de HBMnext (plus tard renommée HBM3). Ce fut un grand saut générationnel par rapport à HBM2 et le remplacement de HBM2E. Cette nouvelle VRAM serait arrivée sur le marché au quatrième trimestre 2022. Cela introduirait probablement une nouvelle architecture, comme le suggère le nommage.

Bien que l’architecture puisse être remaniée, des fuites indiquaient des performances similaires à celles de la norme HBM2E mise à jour. Cette RAM était probablement principalement utilisée dans les GPU de centres de données^{[22],[23],[24],[25]}.

À la mi-2021, SK Hynix a dévoilé certaines spécifications de la norme HBM3, avec des vitesses d’E/S de 5,2 Gbit/s et une bande passante de 665 Go/s par boîtier, ainsi que des solutions 2,5D et 3D jusqu'à 16 couches^[26],[27].

Le 20 octobre 2021, avant la finalisation de la norme JEDEC pour HBM3, SK Hynix a été le premier fournisseur de mémoire à annoncer la fin du développement des composants mémoire HBM3. Selon SK Hynix, la mémoire fonctionnerait jusqu’à 6,4 Gbit/s/broche, soit le double du débit de données de l’HBM2E standard JEDEC, qui atteint officiellement un maximum de 3,2 Gbit/s/broche, soit 78 % plus rapide que le HBM2E de SK Hynix à 3,6 Gbit/s/broche. Les composants supportent un débit de transfert de données de 6,4 Gbit/s et donc une seule pile HBM3 peut fournir une bande passante allant jusqu’à 819 Go/s. Les largeurs de base de bus pour HBM3 restent inchangées, avec une seule pile de mémoire de 1024 bits de largeur. SK Hynix proposerait sa mémoire en deux capacités : 16 Go et 24 Go, correspondant respectivement à des piles 8-Hi et 12-Hi. Les piles se composent de 8 ou 12 DRAM de 16 Go chacune de 30 μm d’épaisseur et interconnectées à l’aide de Through Silicon Vias (TSV)^{[28],[29],[30]}.

Selon Ryan Smith d’AnandTech, la mémoire HBM3 de première génération de SK Hynix a la même densité que sa HBM2E de dernière génération, ce qui signifie que les fabricants de dispositifs souhaitant augmenter leur capacité mémoire totale pour leurs composants de nouvelle génération devront utiliser une mémoire à 12 dies/couches, contre les piles à 8 couches qu’ils utilisaient habituellement jusque-là^[28]. Selon Anton Shilov de Tom’s Hardware, les GPU ou FPGA de calcul haute performance utilisent généralement quatre ou six piles HBM, donc avec les piles HBM3 de 24 Go de SK Hynix, ils obtiennent donc 3,2 To/s ou 4,9 To/s de bande passante mémoire. Il a également noté que les puces HBM3 de SK Hynix sont carrées, et non rectangulaires comme les puces HBM2 et HBM2E. [38] Selon Chris Mellor du Register, le fait que JEDEC n’ait pas encore développé sa norme HBM3, cela pourrait signifier que SK Hynix devrait adapter son design à une version future plus rapide^[30].

JEDEC a officiellement annoncé la norme HBM3 le 27 janvier 2022^[8]. Le nombre de canaux mémoire a été doublé, passant de 8 canaux de 128 bits avec HBM2e à 16 canaux de 64 bits avec HBM3. Par conséquent, le nombre total de broches de données de l’interface reste de 1024^[31].

En juin 2022, SK Hynix a annoncé le début de la production de masse de la première mémoire HBM3 de l’industrie, destinée à être utilisée avec le GPU H100 de Nvidia, dont la livraison est prévue au troisième trimestre 2022. La mémoire fournira au H100 « jusqu’à 819 Go/s » de bande passante mémoire^[32].

En août 2022, Nvidia a annoncé que son GPU « Hopper » H100 serait livré avec cinq emplacements HBM3 actifs (sur six embarqués) offrant 80 Go de RAM et 3 To/s de bande passante mémoire (16 Go et 600 Go/s par site)^[33].