2023年的科技领域里,anthropic 公司正在忙着给ai 系统筑牢安全防线。为了防止ai被

2023年的科技领域里,Anthropic公司正在忙着给AI系统筑牢安全防线。为了防止AI被滥用,特别是在高风险的场景里搞出幺蛾子,这家公司最近开始了一场招聘行动。他们希望招到一些有特殊专业背景的人才,专门负责化学武器防御还有高能爆炸物防护这类棘手的活计。Anthropic公司强调,这次招聘其实是为了升级现有的安全体系。随着AI技术发展得飞快,有时候模型可能会被诱导去输出那些关于危险物质制造的敏感信息。虽然现在这种风险概率比较低,但作为行业的领头羊,他们觉得还是得多准备几层防护手段才行。 岗位需要应聘者至少干过五年相关的工作,还要对放射性扩散装置这些高风险的技术细节非常熟悉。未来这些人会参与制定AI使用的边界标准,开发自动过滤内容的系统,还得帮忙完善评估风险的模型。 除了Anthropic,OpenAI那边也在招人做生物与化学风险控制的研究。给的薪水比行业平均水平还要高。两家头部的AI公司这样动作频频,说明大家都把安全合规的投入看得特别重了。 根据报告说,2023年全球主要的科技企业在AI安全上的研发经费同比涨了47%,大家都在重点研究内容过滤、访问控制还有异常行为监测这些技术。 不过这种防御策略也有不少人争论。有的专家说,让AI去接触危险领域的知识可能会产生“双刃剑”效应。麻省理工学院最近有个研究显示,训练出来的风险模型太精细了,反而可能降低系统对新攻击的识别能力。更让人担心的是,国际上现在还没有建立起监管AI和大规模杀伤性武器关联的规则。法律跟不上技术发展,中间可能会有安全真空。 随着生成式AI在科研领域越来越普及,这种担心更严重了。欧洲核子研究中心最近发了份白皮书警告说,未来五年内AI能把危险物质的研究效率提升300%。这对现有的监管体系来说绝对是个严峻的挑战。 所以现在科技企业主动去做防御措施是很必要的,但要想在技术创新和安全管控之间找到平衡点还得靠跨学科的合作还有全球治理机制的同步完善才行。