科技作家 Matthew Hutson（也是 Slashdot 读者 #1,467,653）研究了一种新型的自我改进型人工智能编码系统。该系统会根据对哪些因素有效的经验证据重写自身的代码——正如 arXiv 上最近发表的一篇预印本论文所述。Hutson 在 IEEE Spectrum 上发表的新文章指出：达尔文哥德尔机（DGM）始于一个能够读取、写入和执行代码的编码代理，并利用 LLM 进行读写操作。然后，它应用进化算法创建许多新的代理。在每次迭代中，DGM 都会从群体中挑选一个代理，并指示 LLM 进行一项更改，以提升代理的编码能力（即创建“一个全新的、有趣的采样代理版本”）。LLM 拥有类似于直觉的判断能力，能够判断哪些因素可能有效，因为它们接受过大量人类代码的训练。最终的结果是一种引导式进化，介于随机突变和可证明有用的增强之间。然后，DGM 在编码基准测试中测试新的代理，评估其解决编程挑战的能力……研究人员使用名为 SWE-bench 的编码基准测试了 DGM 80 次迭代，并使用名为 Polyglot 的基准测试了 DGM 80 次迭代。代理在 SWE-bench 上的得分从 20% 提高到 50%，在 Polyglot 上的得分从 14% 提高到 31%。“我们真的非常惊讶，编码代理竟然能够自己编写如此复杂的代码，”不列颠哥伦比亚大学的计算机科学家、该论文的主要作者 Jenny Zhang 说道。“它可以编辑多个文件，创建新文件，并创建非常复杂的系统。”……进化搜索和自我改进系统（尤其是它们的组合，例如 DGM）的一个担忧是安全性。代理可能会变得无法解释或与人类指令不一致。因此，Zhang 和她的同事们添加了防护栏。他们将 DGM 保存在无法访问互联网或操作系统的沙盒中，并记录和审查所有代码更改。他们提出，未来甚至可以奖励那些让自己变得更易于解释、更协调一致的人工智能。（在研究中，他们发现智能体会错误地报告使用某些工具的情况，因此他们创建了一个DGM（决策模型），奖励那些没有编造事实的智能体，从而部分缓解了这个问题。然而，有一个智能体破解了追踪其是否编造事实的方法。）正如文章所述，智能体的进步“随着它们不断改进自身……”而不断累积。
在 Slashdot 上阅读更多内容。