推理速度作为当今 LLM 服务的旗舰功能的两个有趣的例子。
首先，Cerebras宣布了其极速托管模型服务的两款新月度套餐：Cerebras Code Pro（每月 50 美元，每天 1,000 条消息）和 Cerebras Code Max（每月 200 美元，每天 5,000 条消息）。他们在这里销售的模型是 Qwen 的 Qwen3-Coder-480B-A35B-Instruct，这可能是目前最好的开放权重编码模型，而且该模型刚刚发布十天。从模型发布到第三方订阅服务，这十天感觉就像创下了纪录。
Cerebras 声称他们可以以惊人的每秒 2,000 个令牌的速度为该模型提供服务 – 是其演示视频中 Claude Sonnet 4 速度的四倍。
同样在今天，Moonshot宣布了其万亿参数 Kimi K2 模型的新托管版本，名为kimi-k2-turbo-preview ：
🆕 向 kimi-k2-turbo-preview 问好，相同模型，相同环境，速度提升 4 倍。
⚡️ 从 10 tok/s 到 40 tok/s。
💰 限时优惠价（9 月 1 日前 5 折优惠）
- 0.30 美元/百万输入令牌（缓存命中）
- 1.20 美元/百万输入令牌（缓存未命中）
- 5.00 美元/百万输出代币
👉 探索更多： platform.moonshot.ai
这款产品的价格是其常规型号的两倍，速度却提升了四倍（9 月份价格将上涨至四倍）。目前尚不清楚他们是如何实现这一速度提升的。
我很想知道市场对这种更快性能的需求有多大。我以前尝试过 Cerebras ，发现它的速度确实让实时预览的代码迭代体验更加互动。
标签： generative-ai 、 cerebras 、 llm-pricing 、 ai 、 ai-in-china 、 llms 、 qwen
原文： https://simonwillison.net/2025/Aug/1/faster-inference/#atom-everything