最近,深度求索公司梁文锋联手北京大学研究人员,在学术平台上公开了一篇论文,详细探讨了他们在人工智能训练领域提出的新方法。论文里提到的“Engram”技术,就是一项能帮助提升模型效能、突破硬件限制的重大突破。这个技术主要解决了高端芯片对大模型发展的瓶颈。在这个技术创新的关键时期,我国科研团队在核心算法领域也取得了重要进展。 传统上,大型语言模型通常依赖密集计算来处理信息,虽然效率高,但是消耗了大量宝贵的序列深度资源。这个过程需要的GPU高带宽内存(HBM)容量也是非常高的,而HBM又是当前人工智能硬件竞赛中的重点。针对这个问题,研究团队采用了“条件记忆”架构,把信息存储和计算过程分离出来。 他们的新方法让模型能像人类一样,更智能地检索基础信息,而不是重新计算。这给了GPU更多的资源来处理复杂的推理任务。在270亿参数模型测试中,“Engram”技术大大提升了模型在主流性能基准测试中的表现,同时也为更复杂的任务预留了足够的容量。 业内专家表示,这个技术不仅让性能提升了,还开辟了一条通过算法创新来解决硬件约束问题的新路。他们把“Engram”类比于MoE技术,后者同样通过非线性方式提升了模型规模扩展效率。深度求索公司一直追求优化算力成本效益。他们之前发布的DeepSeek-R1模型就以较低成本达到了国际先进水平。 这一方法论层面的突破再次证明了我国人工智能研发力量正从应用创新向基础理论和架构创新拓展。这次合作体现了产学研协同攻关的优势。国际开源社区对这项工作给予了积极评价。面对全球AI竞争和硬件发展不平衡的局面,这次研究是一个从算法层面主动优化资源配置的有益探索。 提升AI发展效能需要攻克硬件制造难关和软件层面持续创新。坚持自主创新与开放合作并行推进,才能为我国AI产业高质量发展打下坚实基础。这次研究值得持续关注。