一篇引人入胜的新论文表明，法学硕士可以递归地自我改进。他们可以接受旧版本的训练并不断变得更好。这立即让我想到，“就是这样，这就是人工智能奇点”，那一刻人工智能能够永远自主地自我完善并成为…… （这句话可以有很多种结束方式）

我不认为这是奇点，但如果这个想法得到实施，那么它看起来会很像。稍后会详细介绍。

自我提升

这个想法是：

是的，它永远存在。

这是一个示例，将数字相乘，并且数字逐渐变大。

黄线（第 1 轮）表示基本表现。上面的紫色线（第10轮）是未经过滤的盲目训练后的。第 10 轮的悬崖就是模型崩溃的样子。他们称之为错误雪崩。

但表现不会立即下降，在下降之前的几个回合中它仍然保持完美。这是关键的见解。如果您生成稍微困难一点的问题，那么您可以轻松过滤并继续进一步提高性能。

当单个LLM评估正确性时，出错的概率有些高。但通过多数投票，当你增加选民时，概率就会下降到零。在某些时候，它足够低，使其成为一种具有成本效益的策略。

（不，他们没有澄清需要多少选民）

局限性

好吧，这有什么不能做的呢？

这些问题必须具有渐进的性质。例如，他们将越来越大的数字相乘，或者调整迷宫的路径，使它们稍微复杂一些。如果你不能分解问题，它们很可能无法解决这个问题。

另外，问题必须有明确的答案。或者至少，选民应该能够明确地对答案的正确性进行投票。

因此，这可能不适用于创意写作，因为故事没有明显的正确或错误。即使是这样，要让故事变得稍微复杂一点也不容易。

房间里的另一头大象——成本。回想一下，R1在 RL 训练期间竭尽全力避免使用外部 LLM，主要是为了控制成本。但还要记住，公司正在扩展到超大型数据中心。这个成本肯定已经算进去了。

据我所知，大多数基准测试都符合这些限制，因此将会饱和。它们通常是清晰且明确正确的，否则这些问题就不能用作基准。我的感觉是，它们通常是可分解的问题，可以通过调整使其变得稍微复杂一些。

如果这种递归改进成为现实，我想大多数基准测试将很快饱和。饱和基准与没有基准一样好。

这看起来像是疯狂的进步，但我不认为这是奇点。这篇论文根本没有谈论紧急行为。事实上，它假设一种行为已经出现，以便引导该过程。但一旦它出现，这个过程就能最大限度地发挥它的潜力。

看起来代理可能是一个很容易找到适合这种模式的问题的地方。问题在于创建基准的速度不够快。

我的预感是，展望未来，我们将依靠强化学习（RL）来迫使行为出现，然后使用某种形式的递归自我改进微调来最大限度地发挥这种行为。

今年真是越来越狂野了..