问题——“看似聪明”并不等于“值得信赖”。
随着智能对话工具进入教育、办公、科研与公共服务等场景，越来越多用户发现，系统有时会答非所问、逻辑跳跃，甚至在缺乏依据时给出语气笃定的结论。
更值得警惕的是，这类不可靠输出往往不易被即时识别：它可能披着专业表达的外衣，混入真实信息与推断臆测，增加传播和决策风险。
在1月下旬于新加坡举行的第40届人工智能促进协会年会上，围绕“如何让智能系统更可靠、更负责”的讨论贯穿多个分论坛，研究者试图从更细分、更可测量的问题入手，为可靠性提供可操作的工程路径。
原因——失准的“置信度信号”与交互过程中的系统性衰减，正在放大误判概率。
来自意大利研究团队的一项工作提示，系统向用户呈现的“自信程度”如果没有与真实正确率相匹配，反而会成为误导性信号。
在其名为“盲目自信的陷阱”的实验中，参与者在系统辅助下完成逻辑推理任务。
结果显示，当系统表现得十分自信时，参与者更倾向采纳其建议，即便该建议可能是错误的；而当系统呈现犹豫时，用户又可能拒绝正确提示。
研究人员指出，这反映了现实应用中常见的校准缺陷：所谓置信度并未被准确标定，用户据此形成的判断会被“语气强弱”牵引，从而出现“错得更坚定、对得更难被接受”的悖论。
另一项由印度与美国团队开展的研究，则把目光投向长时对话的稳定性。
研究人员提出，随着人机对话时间延长，模型可能出现注意力衰减，表现为偏离原始指令、重复输出内容，甚至在自信表述中生成不可靠信息。
团队将这一现象概括为“认知疲劳”，强调其并非偶发个案，而是可被观测和预测的系统性效应。
研究团队据此设计了可视化监测与干预方案，通过追踪注意力衰减等关键指标，判断系统何时开始“疲劳”，并在偏离指令时重新注入原始约束，将对话拉回既定轨道。
相关探索表明，可靠性并非只能依赖“更大模型”，也可以通过过程监控与及时纠偏来提升。
影响——从信息质量到安全边界，可靠性缺口将外溢为现实风险。
对普通用户而言，置信度失准会降低辨伪能力，使错误建议以更高的说服力进入日常决策；对机构用户而言，长时任务中的偏离与重复会增加成本、拖慢流程，甚至引发合规与安全隐患。
尤其在智能体能力不断增强的背景下，风险边界更为复杂：从单一对话系统走向可自主执行任务的智能体，再到多个智能体组成的协作网络，系统不再仅“回答问题”，还可能“采取行动”。
一旦行动链条中出现误判或失控，其后果可能从内容误导升级为操作层面的错误执行，影响数据安全、系统稳定与业务连续性。
对策——把“可靠”拆成可验证的指标，把“可控”落实到交互与边界。
与会学界与产业界人士普遍认为，提升可靠性需要多层次手段协同推进：一是推进置信度校准与风险分层呈现，让系统在不确定时明确表达“未知”“需核验”，并通过评测体系将“自信但错误”的情况纳入重点治理；二是为长时交互引入状态监测与实时纠偏机制，针对偏离指令、重复输出等现象设置可触发的干预策略，降低“疲劳”带来的漂移；三是强化人机透明协作，明确系统的行动边界与权限管理。
美国微软人工智能前沿实验室主任埃杰·卡马尔在大会期间表示，当前智能体的行动空间较大，能够写代码并在计算机上执行多种操作，因此应把研发重点更多转向人机协作与透明交互机制建设，提升可理解性与可监督性。
微软首席科学官埃里克·霍维茨则指出，许多不确定性与人类尚未完全理解系统内部运作机制有关，这意味着可靠与可控不仅是技术问题，也关乎评测方法、使用规范与治理框架的共同完善。
前景——可靠性建设将从“性能竞赛”走向“工程化与制度化并重”。
从会议讨论可以看出，行业下一阶段的竞争重点，可能不再只看生成能力与效率，还将更加重视可验证的正确性、可解释的边界、可追溯的过程以及可干预的运行状态。
随着智能体进入更复杂的真实场景，面向不同任务设定“可接受风险阈值”、建立持续评测与反馈机制、完善人机协作流程，将成为提升系统可信度的关键路径。
可以预见，未来一段时间内，围绕置信度校准、长时稳定性、可控执行与透明交互的研究将持续升温，并加速向产品与行业标准转化。
人工智能的可靠性问题不是技术进步中的偶然现象，而是发展过程中必然面临的挑战。
从置信度校准到认知疲劳的识别与干预，从单一系统到人机协作框架的构建，国际学术界正在逐步建立起更加科学、系统的解决方案。
这些探索表明，人工智能的未来发展方向不是追求完全的自主性，而是在充分理解其局限性的基础上，构建更加透明、可控、可信的人机协作体系。
只有这样，人工智能才能真正成为人类可以信赖的工具，为社会发展做出更大贡献。