Новые технологии 3D-памяти HBM: инженеры предлагают решение для масштабирования ИИ-ускорителей

Революция в архитектуре памяти для ИИ

Инженеры предложили инновационный метод компоновки памяти для ускорителей ИИ и графических процессоров, укладывая кристаллы DRAM на ребро вместо традиционной вертикальной «башни», используемой в современной HBM. Этот подход превращает массив памяти в объёмный блок из кремниевых пластин, решая ключевые проблемы масштабирования: повышает пропускную способность и ёмкость, а также устраняет рост тепловыделения.

Проблемы традиционного HBM

Традиционная память типа HBM сталкивается с серьёзными ограничениями при масштабировании. Кристаллы DRAM располагаются друг над другом на базовом кристалле и соединяются сквозными TSV-соединениями. Такая структура плохо отводит тепло к радиатору, поскольку кристаллы разделены диэлектрическим слоем с низкой теплопроводностью. С ростом больших языковых моделей современные GPU уже окружены несколькими стеками HBM, но дальнейшее увеличение числа слоёв грозит перегревом и потерей эффективности.

Концепция V-Die с микрофлюидным охлаждением

На июньском симпозиуме IEEE VLSI были представлены два варианта решения, оба предлагающие разместить память «на боку». Концепция V-Die, разработанная при участии южнокорейских университетов UNIST и Hanbat National University, предполагает размещение между кристаллами микрофлюидных каналов для циркуляции хладагента. Кроме того, отказ от толстых TSV освобождает площадь под ячейки памяти, а собственные блоки ввода-вывода на каждом кристалле позволяют избавиться от отдельного базового кристалла.

Контакты для подключения к подложке располагаются вдоль нижней кромки кристалла с шагом около 20 мкм. Расчёты показывают, что V-Die может обеспечить в четыре раза больше соединений, чем HBM4, и сократить время чтения на 37%. При моделировании системы на GPU уровня Nvidia H100 с нагрузкой, похожей на большую языковую модель масштаба GPT-3, вариант V-Die обеспечивал производительность памяти на уровне 540 токенов в секунду против 296 токенов в секунду у HBM4 при той же ёмкости. Задержка до выдачи первого токена снижается на 32% (примерно на 24 мс), а температура за счёт микрофлюидного охлаждения удерживается на уровне около 45°C — значительно ниже типичных пиков HBM, превышающих 80°C.

Японское решение MOSAIC

Японская группа из University of Tokyo, Tohoku University и RIKEN предложила альтернативный подход к монтажу «кубической» памяти, названный MOSAIC. Их решение направлено на преодоление проблемы точности производства, возникающей при использовании жёстких контактов на рёбрах куба памяти. Жёсткие контакты остаются только для питания сборки DRAM, которые менее требовательны к точности совмещения, тогда как данные и управляющие сигналы передаются индуктивным бесконтактным способом.

Исследователи предлагают формировать на кристаллах памяти вытянутые катушки размером около 80 × 240 мкм, а на подложке размещать ответные катушки под прямым углом. Передача данных осуществляется посредством магнитного поля, что позволяет избежать требования микронной точности. В одном кубе MOSAIC можно разместить 98 кристаллов и получить 294 Гбайт памяти. При уменьшении толщины кристалла DRAM до 100 мкм авторы оценивают потенциал в 294 кристалла и 882 Гбайт памяти в том же объёме при расчётной пиковой температуре около 81,3°C.

Перспективы внедрения

Оба предложенных решения открывают новые возможности для следующего поколения высокопроизводительных вычислительных систем. Технология V-Die обещает значительное преимущество в скорости и энергетической эффективности, тогда как MOSAIC фокусируется на повышении ёмкости памяти. Однако оба подхода требуют дальнейших исследований и улучшений производственных процессов перед коммерциализацией.