在 AI 技术快速发展的时代，海力士推出了一种创新的混合存储架构，名为 H3，这款架构给我们展示了怎样有效提升 AI 系统的计算能力。H3 的设计非常巧妙地结合了 HBM 和 HBF 这两种存储介质，把它们各自的优势发挥到了极致。在 AI 的学习领域，比如大规模语言模型（LLM）推理任务中，大量数据需要被读取和处理。H3 的设计让只读数据被存储在 HBF 中，而其他数据则存放在 HBM 里。这样一来，就充分利用了 HBF 容量大的优势，同时避免了它访问延迟高的短板。 具体来看，H3 把 GPU 与 HBM 的 Base Die 通过中介层连接起来。HBM Base Die 内置了 HBM 控制器和与 HBF 系统配套的“延迟隐藏缓冲”。而 HBF Base Die 则负责管理整个 HBF 堆栈。这种配置给 LLM 推理带来了巨大的好处，特别是在那些需要频繁读取共享预计算键值缓存的场景中。仿真测试结果显示，使用 H3 架构的 GPU 系统，单位功耗下的吞吐量提升了 2.69 倍。 SK 海力士在这次研究中提到了 HBF 和 HBM 的特点：HBF 的带宽与 HBM 相当，但容量更大、访问延迟更长、写入耐久更差、功耗也更高。因此，在设计 H3 时，他们把 HBF 作为 HBM 的“二级扩展”。这种混合存储方案为 IT 行业提供了一种高性价比的解决方案。特别是在处理那些具有海量只读数据的任务时，这个架构表现得非常出色。 这份论文发表在本月 4 日，是 SK 海力士给出的最新研究成果。通过智能数据分配技术，H3 成功实现了带宽与容量的双重提升。这个设计理念不仅为 AI 计算时代提供了新的思路，也让大家看到了存储技术在推动 AI 发展中的巨大潜力。