В расширении памяти, подключаемом к CXL, используется флэш-память NAND, оптимизированная для высокоскоростной обработки данных на вычислительных устройствах с ИИ.
Компания Kioxia приблизилась на один шаг к своей амбициозной цели – замене динамической оперативной памяти (DRAM) на флэш-память для некоторого содержимого памяти, обслуживающего рабочие нагрузки искусственного интеллекта. На брифинге в Токио компания представила модуль Compute Express Link (CXL); модуль построен на базе XL-Flash, специализированного чипа NAND с резко улучшенной скоростью обработки.
Этот модуль CXL, предназначенный для замены части содержимого DRAM при вычислениях с помощью искусственного интеллекта, использует флэш-память NAND, оптимизированную для высокоскоростной обработки. Компания Kioxia утверждает, что замена некоторых модулей DRAM на модули CXL позволяет удвоить объем памяти при тех же затратах и повысить производительность на 30%.
Модуль расширения памяти, подключаемый к CXL, построен на базе XL-Flash, специализированного чипа NAND с резко улучшенной скоростью обработки
CXL – стандарт интерфейса, который объединяет различные типы памяти и устройства внутри системы в единое большое пространство памяти, позволяет распределять емкость динамически по мере необходимости. В результате модуль CXL на базе NAND является экономически конкурентоспособным по сравнению с DRAM. Несмотря на то, что DRAM считывает данные чрезвычайно быстро, его емкость трудно увеличить, и он стоит дороже.
С другой стороны, более дешевый CXL на базе NAND обеспечивает сверхбольшой объем памяти при меньших затратах, чем конфигурация, использующая только DRAM. Здесь замена NAND на DRAM в определенных рабочих нагрузках искусственного интеллекта зависит от развития системных архитектур, которые могут выдерживать более высокую задержку в обмен на большую плотность и меньшую стоимость за бит.
Возможности флэш-памяти
Флэш-память NAND обеспечивает значительно больший объем памяти при заданной цене, но скорость доступа к ней измеряется микросекундами, а не наносекундами, как у DRAM. Однако появление новых устройств для многоуровневого управления центрами обработки данных и пограничного искусственного интеллекта открывает новые возможности для систем, предназначенных для управления иерархиями хранилищ со смешанной задержкой.
Эти системы могут перенаправлять менее трудоемкие операции во флэш-память, сохраняя при этом DRAM-память для задач, требующих высокой производительности. Рассмотрим вывод модели машинного обучения в средах центров обработки данных, где задержка может не иметь большого значения, если только она не на порядок больше, чем у памяти с высокой пропускной способностью (HBM).
Далее, в edge AI (периферийном искусственном интеллекте), где обычно используются предварительно обученные модели, компания Kioxia заявила, что ее модуль CXL соответствует преимуществу NAND в виде большой емкости. Он также не подвержен таким недостаткам, как медленная запись и ограниченная долговечность, а низкое энергопотребление подходит для работы в средах edge AI, чувствительных к энергопотреблению.
На стыке технологий обработки данных модуль CXL может повысить скорость обработки флэш-памяти NAND в рамках инициативы по замене некоторых требований к DRAM в серверах искусственного интеллекта. Следовательно, если NAND сможет занять некоторую емкость DRAM на серверах центров обработки данных и в новых приложениях, таких как edge AI, рынок флэш-памяти расширится за счет чипов DRAM.
Модуль CXL, использующий физический уровень PCI Express, обеспечивает дополнительную задержку в 100-200 наносекунд при совместном использовании с центральными и графическими процессорами
Тем не менее, инициатива Kioxia по замене флэш-памяти на DRAM является скорее дополнительной стратегией, чем основной разработкой. В ней учитываются специализированные устройства с памятью NAND, которые могут компенсировать отсутствие DRAM. Но возникает вопрос: почему Kioxia?
Для Kioxia важна память
В отличие от других ведущих производителей памяти – Micron, Samsung и SK Hynix – у Kioxia нет линейки DRAM. Это делает японского производителя микросхем памяти уязвимым на рынке, где его ключевые конкуренты могут использовать технологии как DRAM, так и флэш-памяти. Другими словами, исключительная ориентация Kioxia на NAND стала помехой.
Более того, в области флэш-памяти NAND китайская компания Yangtze Memory Technologies Co. (YMTC) сокращает многолетний технологический разрыв всего за несколько месяцев. Это особенно угрожает позициям Kioxia в чувствительных к цене сегментах памяти. Затем следует компания Micron, которая восстановила свои позиции на рынке флэш-памяти NAND после многолетних трудностей.
Такое конкурентное давление заставило Kioxia искать стратегическую дифференциацию. Здесь компания должна извлечь выгоду из существующих возможностей NAND с помощью новых инициатив: внедрить модуль CXL на базе NAND, чтобы частично заменить требования к DRAM. Но это только половина дела.
При разработке модулей CXL на базе NAND, хотя технические компромиссы хорошо понятны, для их реализации требуются программные стеки и системные решения, которые позволяют использовать преимущества низкой стоимости при минимальных задержках. Это, в свою очередь, требует поддержки экосистемы со стороны производителей серверов, гипермасштабируемых центров и поставщиков программного обеспечения.
Без побед в области дизайна и поддержки экосистемы это останется скорее прогнозным заявлением в отношении архитектуры памяти, чем прорывом в индустрии памяти. Поэтому отраслевые наблюдатели с нетерпением ожидают анонсов от Kioxia о победах в области дизайна; они подтвердят техническую предпосылку замены NAND в рабочих нагрузках ИИ, требующих больших затрат памяти.
До тех пор, пока Kioxia не определит промежуточный путь для позиционирования флэш-памяти в качестве промежуточного уровня между DRAM и хранилищем, работа еще не завершена. В то время как технические детали этого незагруженного модуля вызывают бурю негодования в мире памяти, флэш-память в качестве прокси-сервера DRAM должна обеспечить дифференцированный источник дохода, чтобы стать постоянным партнером HBM.
