中关村论坛聚焦人工智能产业转型:从“训练时代”迈向“推理时代”的挑战与机遇

问题:从“会聊天”到“能干活”,Token需求骤增带来新约束 论坛现场——多位嘉宾提到——近期走红的“OpenClaw”让更多普通用户以更低门槛调用大模型能力,推动智能体从概念走向可用。随之而来的直接变化是交互背后的Token消耗快速上行:一次复杂任务的推理往往要经历多轮规划、检索、执行与校验,Token开销明显高于简单问答。基础设施提供方披露的数据显示,平台Token调用量在短时间内持续翻倍增长,表明推理需求已进入加速期。 原因:应用形态迭代与开源参与,叠加供给侧结构性短板 与会人士分析,Token激增首先来自应用形态变化。过去行业重心偏向训练,新增算力主要服务于模型参数扩张;而现在越来越多场景转向“在线推理”和“任务执行”,智能体需要持续调用模型跑完整链路,推理侧算力因此成为新的瓶颈。其次,开源框架降低开发门槛,社区协作让工具链更快成熟,使不少过去依赖闭源体系才能完成的任务,在开源体系下也能更快落地,从而放大了调用规模。更深层的挑战在供给侧:算力增长难以跟上需求曲线;传统云计算体系更多按“人操作系统”的逻辑设计,调度与管理面向工程师的分钟级任务,而智能体会在毫秒级高频发起请求,导致资源调度、弹性伸缩、异构适配等环节出现不匹配,进而带来卡顿与效率下降。 影响:成本重估与产业分工再塑,竞争焦点从模型转向“产能” Token需求爆发正在引发成本与价值的重新定价。业内人士指出,当模型需要承担更长链路、更高可靠性的任务时,推理消耗显著增加,价格策略的调整本质上反映了算力与服务能力的真实成本。此外,产业竞争焦点也在变化:从比拼模型参数和榜单成绩,转向比拼“推理产能”、交付稳定性与单位Token成本。对企业而言,谁能更高效地把算力转化为稳定、可规模化的Token供给,谁就更接近新阶段的基础能力门槛。对生态而言,围绕芯片、集群、框架、调度、应用的分工将继续细化,“推理时代的供应链”正在成形。 对策:从“标准化工厂”到“智能化工厂”,提升单位算力转化效率 面对供需矛盾,与会代表普遍认为关键在于基础设施重构与效率提升。一是推动异构算力的统一管理与协同,打通多类型芯片与多地集群,通过软件栈优化、算子适配、任务切分和调度策略提升整体利用率,把有限资源用在高价值环节。二是加快面向智能体的系统能力建设,围绕高频、小粒度、低时延的推理任务改造底层平台,强化编排、缓存、并发与容错能力,降低调度损耗。三是推进模型结构与推理技术创新,通过更高效的注意力机制、压缩与量化、蒸馏与推理加速等手段,在保证效果的同时减少Token消耗与时延。四是完善供给侧治理,建立更透明的服务质量指标与成本核算机制,引导行业从“堆算力”转向“精细化运营”。 前景:推理需求将长期高景气,基础设施智能化成为关键变量 与会人士判断,智能体应用仍处在扩散早期,Token需求曲线远未见顶。随着政务、工业、科研、教育等场景对“可控、可靠、可追溯”的任务型能力提出更高要求,推理侧需求将呈现持续且结构性的增长。未来基础设施不仅要“供得上”,更要“管得好”:具备自适应调度、自主优化与自动迭代能力的智能化基础设施将成为重要方向,让系统能根据任务特征动态分配资源,在效率与成本之间自动寻优,并以更低门槛向全社会提供稳定的Token供给能力。谁能率先形成可复制、可扩展的推理时代基础设施体系,谁就更可能在新一轮全球产业分工中占据更有利位置。

推理时代的到来,让大模型从“能力展示”走向“生产系统”,也把产业关注点从单点技术突破拉回到供给体系与工程能力的综合较量。Token需求的快速攀升既表明了市场活力,也提醒行业:只有以更高效率、更强协同、更可持续的基础设施承接智能体规模化落地,才能把“新奇体验”真正转化为更广泛的生产力增量。