SanDisk 昨天发布了他们的新 High Bandwidth Flash memory （HBF），容量巨大，第一代 HBF 可以在 GPU 上实现高达 4TB 的 VRAM 容量。
官方的说法是：
“我们将其称为 HBF 技术，以增强 HBM 内存用于 AI 推理工作负载，SanDisk 内存技术负责人 Alper Ilkbahar 表示。我们将匹配 HBM 内存的带宽，同时在类似成本点提供 8 到 16 倍容量。”
如果它的速度能达到HBM的速度，那对显卡市场将是巨大的变革。但官方目前并未说HBF的带宽。不过发布的PPT上可以看到一些端倪：
注意这里只说了Read Bandwidth, 没有说Write Bandwidth，也就是说它的主要功能很有可能是缓存，而不是内存（读写速度一致）
请注意这个PPT的第二张，出现了HBM和HBF混排的情况。那是不是意味着，HBF也是类似Optane DCPMM？其实写带宽是不及HBM的，但是读带宽很快，可以作为超大的缓存，将MoE未激活的Expert缓存在里面，当激活的时候迅速换出到HBM。或者将KV-Cache卸载到HBF，增加推理上下文长度。
0