一位匿名读者引用了《时代》杂志的一篇报道：加州州长加文·纽瑟姆委托撰写的一份新报告警告称，尽管人工智能能够带来变革性的好处，但如果缺乏适当的保障措施，它可能会加剧核威胁和生物威胁，并造成“潜在的不可逆转的危害”。这份于6月17日发布的报告（PDF格式）指出：“建立有效的人工智能治理框架的机会可能不会永远存在。”报告引用了新的证据表明，人工智能可以帮助用户获取核级铀，并且即将让新手制造生物威胁，并指出目前不采取行动的代价可能“极高”。[…] 报告指出：“自去年9月纽瑟姆州长否决SB 1047法案以来，基金会的模型能力得到了快速提升。” 业界已经从仅仅预测文本流中下一个单词的大型语言人工智能模型转向经过训练的系统，这些系统能够解决复杂问题，并受益于“推理扩展”，这使得它们有更多时间处理信息。这些进步可能会加速科学研究，但也可能加剧国家安全风险，因为这使得不法分子更容易发动网络攻击或获取化学和生物武器。报告指出，Anthropic 上个月刚刚发布的 Claude 4 模型可能能够帮助潜在的恐怖分子制造生物武器或引发流行病。同样，据报道，OpenAI 的 o3 模型在一项关键评估中的表现优于 94% 的病毒学家。报告称，近几个月来，新的证据表明人工智能能够策略性地撒谎，在训练期间看似与其创造者的目标一致，但在部署后却显示出其他目标，并利用漏洞实现其目标。报告指出，虽然“目前这些进展是良性的，但它们代表了具体的经验证据，表明某些行为可能对衡量失控风险构成重大挑战，并可能预示未来的危害”。尽管共和党人提议对所有州的人工智能监管实施为期十年的禁令，原因是担心碎片化的政策环境可能会损害国家竞争力，但该报告认为，加州的有针对性的监管实际上可以“减轻开发者的合规负担，避免东拼西凑的做法”，因为它为其他州提供了蓝图，同时保障了公众的安全。报告并未倡导任何具体的政策，而是概述了工作组认为加州在制定未来立法时应遵循的关键原则。卡内基国际和平基金会技术与国际事务项目访问学者、该报告的主要撰写人斯科特·辛格表示，它“避开”了SB 1047中一些更具争议性的条款，例如要求设置“终止开关”或关闭机制，以便在潜在危害发生时快速停止某些人工智能系统。相反，这种方法的核心是提高透明度，例如通过法律保护举报人和建立事件报告系统，以便立法者和公众更好地了解人工智能的进展。目标是“收获创新的成果。我们不应人为设置障碍，而应在创新过程中思考我们正在了解的技术行为方式，”报告的共同负责人奎利亚尔说道。报告强调，这种可见性不仅对于面向公众的人工智能应用至关重要，而且对于理解系统在人工智能公司内部的测试和部署方式也至关重要，因为令人担忧的行为可能首先出现在这些公司内部。“这里的基本方法是‘信任但要核实’，”辛格说道，这一概念借鉴了冷战时期的军备控制条约，涉及设计独立检查合规性的机制。这与现有的努力不同，现有的努力依赖于公司的自愿合作，例如OpenAI与人工智能标准与创新中心（前身为美国人工智能安全研究所）之间达成的部署前测试协议。辛格表示，这种方法承认“行业内部拥有丰富的专业知识”，但“也强调了独立验证安全声明方法的重要性”。
在 Slashdot 上阅读更多内容。