韩国正式实施《人工智能基本法》 对高风险应用场景实行严格监管

(问题)近年来,生成式模型与智能应用快速进入公共服务与商业场景,一方面提升效率、降低成本,另一方面也带来误用与滥用风险:深度伪造内容更易扩散,虚假信息与误导性内容的传播门槛降低;医疗、交通、贷款等涉及人身安全与重大利益的领域,算法偏差、数据缺陷或决策不透明可能导致不公平结果,甚至引发安全事故。如何在鼓励技术创新与维护公共利益之间建立可操作的制度框架,成为各国共同面对的治理议题。 (原因)韩国此次以基本法形式推进制度落地,核心在于搭建“可识别、可追责、可监管”的治理链条。其一,智能服务已深度嵌入日常生活与关键基础设施,一旦出现错误决策,影响更广,更需要用“事前预防”减少对“事后补救”的依赖。其二,跨境数字服务普遍存在主体分散、责任边界模糊等问题,仅靠行业自律难以形成稳定预期;通过设定境内代表等机制,可提升监管触达与执法效率。其三,内容生成与传播风险变化快,单靠平台审核或用户自行辨识难以应对;立法要求告知、标注与监督,有助于降低信息环境的不确定性。 (影响)根据已生效的规定,“高风险”概念被明确纳入治理框架,覆盖医疗、就业流程、饮用水生产、交通运输、贷款审查、核安全等领域,即当模型生成内容足以显著影响用户日常生活及安全时,将适用更严格的合规要求。涉及的企业或机构需安排真人监督;对外提供生成式模型产品或服务需事先告知用户;当生成内容与现实难以区分时,应进行明确标注。这些要求将促使企业在产品设计阶段加强风险评估、可解释性与质量控制,降低“黑箱式”应用直接进入关键环节的可能性。 同时,针对在韩国提供相关服务的跨国企业,若满足全球年收入、韩国国内销售额或韩国日活跃用户规模等条件之一,需指派境内代表,以加强本地合规沟通与责任承接。违规最高可处以3000万韩元罚款,并计划设置一年宽限期,主管部门将提供咨询服务。上述安排表达出明确信号:监管并非“一刀切”压制技术,而是通过规则清晰化、过渡期与服务支持降低合规摩擦,引导市场主体在可控边界内开展创新竞争。 (对策)从执行层面看,新规将推动企业在五个上加快补齐合规能力:一是建立高风险场景清单与分级管理机制,对进入医疗、金融、交通等领域的模型开展更严格的测试与验证;二是完善“真人环”的监督流程,明确人工复核的权限、触发条件与责任归属,避免监督流于形式;三是将告知与标注要求嵌入产品与流程,确保用户在关键决策环节能够识别生成内容并获得必要解释;四是强化数据治理与安全控制,降低偏差与滥用风险,防止训练数据或输出内容引发侵权及公共安全问题;五是为跨国企业建立稳定的本地合规接口,提升对监管问询、风险处置与用户申诉的响应效率。 监管部门上,除罚则外还提出每三年提交政策蓝图以促进产业发展,体现出“发展与规范并重”的取向。未来若能将政策蓝图与标准体系、评测机制、行业指南衔接,有助于形成可复制的治理路径,并提升市场对规则的可预期性。 (前景)总体看,韩国《人工智能基本法》落地或将对区域数字治理产生示范效应:一方面,高风险分级、告知标注、真人监督、跨境主体责任等制度安排,有望推动形成更透明、可追责的应用生态;另一方面,企业合规成本与技术迭代速度之间的平衡仍是长期课题。尤其在快速更新的生成式模型领域,如何界定“难以区分”、如何评估“显著影响”、如何验证监督有效性,仍需通过配套细则、行业标准与执法实践逐步明确。可以预期,随着更多国家完善相关规则,跨境服务提供者将面对更趋一致的合规要求,“合规能力”将成为国际竞争的重要组成部分。

当算法深度介入社会决策系统时,法治的及时补位尤为关键;韩国此次立法既是对技术风险的前置应对,也是对数字时代治理能力的一次检验。其成效如何,不仅关系本国数字经济发展,也将为技术伦理与产业创新如何取得平衡提供重要实践样本。(完)