欢迎阅读《你的艾德在哪里》的又一高级版！请订阅，这样我就可以继续每天喝80杯健怡可乐了。如果您想聊天，请发送电子邮件至[email protected]，主题请注明“高级版”。我知道这是在付费墙之前，所以如果您不付费就给我发邮件，我不保证不会回复《天堂里的芝士汉堡》的歌词。
另外：这是一个公开招募——如果您已经尝试在 OpenAI 的 API 上使用 GPT-5 进行快速缓存，请联系我们！
本周你可能已经听到了很多关于 GPT-5 的消息，从“它只是擅长某些东西”到 SemiAnalysis 的夸张言论“ GPT-5 正在为广告货币化和超级应用奠定基础”，这篇文章对 GPT-5 所依赖的“路由器”是如何以某种方式成为 OpenAI 注入广告的秘密方式做出了几项断言。
以下是一段引言：
在路由器出现之前，查询根本无法区分；而路由器出现之后，第一个低价值查询可以被路由到 GPT5 迷你模型，该模型无需任何工具调用，也无需推理即可完成响应。这可能意味着，为该用户提供服务的成本接近搜索查询的成本。
这……我完全搞不懂。为什么会这样？这篇文章还大肆宣扬问题的“价值”，以及 ChatGPT 如何——我是认真的——根据查询“代理联系律师”。
事实上，我不确定这篇文章是否反映了 GPT-5 的工作原理。
路由器在成本和性能方面都有多种用途。在成本方面，将用户路由到每个模型的迷你版本，使 OpenAI 能够以更低的成本为用户提供服务
公平地说，OpenAI 并没有给予 SemiAnalysis 太多帮助。
内容如下：
GPT-5 是一个统一的系统，它包含一个能够解答大多数问题的智能高效模型、一个能够解决更复杂问题的更深层次的推理模型（GPT-5 思维），以及一个实时路由器，可以根据对话类型、复杂度、工具需求以及你的明确意图（例如，如果你在提示中说“认真思考一下”）。路由器会根据真实信号持续训练，包括用户切换模型的时间、响应偏好率以及测量的正确率，并随着时间的推移不断改进。一旦达到使用限制，每个模型的迷你版本将处理剩余的查询。在不久的将来，我们计划将这些功能集成到一个模型中。
这里有一个非常非常重要的区别：如上所述，GPT-5 指的是ChatGPT 的一部分。OpenAI基于 API 的 GPT-5 模型访问并不会对它们进行路由， OpenAI 也不提供对其路由器或任何其他相关模型的访问。
我怎么知道的？因为我去了解了 ChatGPT-5 的实际工作原理。
侧边栏：从现在开始，我将定义两件事：GPT-5，指的是模型（及其相关的迷你和纳米模型）和ChatGPT-5， 指的是ChatGPT的当前状态，其特点是“自动”、“快速”、“思考”和“思考迷你”。
在与熟悉该架构的基础设施提供商的消息人士进行讨论时，ChatGPT-5 的运行成本实际上可能比以前的模型更高，并且由于其架构的复杂性和混乱性，有时每个查询可能会消耗两倍以上的代币。
ChatGPT-5 也变得更加复杂，受到延迟问题的困扰，并且由于 OpenAI 新的“更智能、更高效”的模型而更加计算密集。
简单来说，ChatGPT 上的每个用户提示——无论是在自动、“快速”、“快速思考”还是“思考”选项卡上——都首先将用户提示置于“静态提示”之前。 “静态提示”是一个隐藏的提示，其中包含诸如“您是 ChatGPT，您是一个大型语言模型，您是一个乐于助人的聊天机器人”之类的指令。这些静态提示会根据您使用的每个模型而有所不同——推理模型的指令集与更侧重于聊天的模型不同，例如“在给出答案之前，请认真思考特定问题”。
当你在同一个对话中使用多个不同的模型时，这就会成为一个问题，因为路由器（负责为请求选择正确模型的程序）必须查看用户提示。它无法优先考虑静态指令。为了使整个系统正常工作，必须颠倒顺序。
简单来说：ChatGPT 的早期版本会采用静态提示，然后（隐形地）将用户提示附加到其上。ChatGPT-5 无法做到这一点。
每次使用 ChatGPT-5，你的每一句话或每一件事都可能导致它做出不同的反应。附加文件？可能需要不同的模型。要求它“调查某事并详细说明？”可能会触发推理模型。以奇怪的方式提问？抱歉，路由器需要将你引导到不同的模型。
当你要求 ChatGPT 执行某项操作时，可能发生的任何事情都可能触发“路由器”更改模型或请求新工具，并且每次执行这些操作时，都需要一个全新的静态提示，无论你选择的是“自动”、“思考”、“快速”还是其他任何选项。这反过来又需要消耗更多的计算资源，查询会比以前的版本消耗更多的令牌。
因此，ChatGPT-5 或许很“智能”，但看起来肯定不够“高效”。OpenAI 很可能是为了扮演魔鬼代言人的角色，添加路由模型是为了给用户创建更复杂的输出，我想，这其中也包含节省成本的意图。不过，这或许只是 OpenAI 准备推出的产品——毕竟，GPT-5 的目标就是成为“ 人工智能的下一个伟大飞跃”，而它面临着巨大的上市压力。
通过创建一个依赖于外部路由模型（可能是另一个 LLM）的系统，OpenAI 已经删除了缓存指示模型如何在 ChatGPT 中生成答案的隐藏指令的能力，从而产生了巨大的基础设施开销。
更糟糕的是，无论您选择哪种模型，ChatGPT-5 上的每一个“转弯”（即消息）都会发生这种情况，从而产生无尽的基础设施负担，而没有真正的出路，只会根据用户查询的复杂程度而加剧。
OpenAI 能做出更好的路由器吗？当然！它现在有好的路由器吗？我觉得没有！每次你给 ChatGPT 发消息，它都有可能根据自己的喜好更改模型或工具，每次都需要一个新的静态提示。
甚至不需要用户要求 ChatGPT-5“思考”，根据我对 GPT-5 的测试，有时只需问它一个四个字的问题就可以触发它无缘无故地“思考更长时间”。
OpenAI 的产品存在延迟问题，其路由系统也极其复杂，已经不堪重负，以至于这次的声明让人感觉 OpenAI 正在彻底放弃其 API。与 GPT-4o 声明在第一段就提到 API 不同，GPT-5 声明对此只字未提，在谈到编码时也只提到了开发人员。Sam Altman 已经暗示他打算弃用任何“新的 API 需求”——不过我想他会允许任何愿意支付优先处理费用的人加入。
对于一家从未被迫制造产品的公司来说，ChatGPT-5 感觉像是最终的报应，它选择将越来越复杂的“工具”固定在模型的侧面，希望其中一个能够神奇地出现。
现在，ChatGPT 的每一个“功能”都比以前烧更多的钱。
ChatGPT-5 感觉就像是一家急于推出某种产品的公司匆忙推向市场。
简单来说，OpenAI 给了 ChatGPT 一个中层经理。