OpenAI 正在悄悄推出一个新的开发者平台，让客户可以在专用容量上运行公司更新的机器学习模型，如GPT-3.5 。在早期访问用户发布到 Twitter 的文档截图中，OpenAI 将即将推出的名为 Foundry 的产品描述为“专为运行更大工作负载的尖端客户而设计”。
“[Foundry 允许]通过完全控制模型配置和性能配置文件进行大规模推理，”文档中写道。
如果屏幕截图可信，Foundry——无论何时启动——都将提供专用于单个客户的计算容量的“静态分配”。用户将能够使用 OpenAI 用于构建和优化模型的相同工具和仪表板来监控特定实例。此外，Foundry 将提供一定程度的版本控制，让客户决定是否升级到更新的模型版本，以及对 OpenAI 最新模型进行“更稳健”的微调。
Foundry 还将提供服务级别承诺，例如正常运行时间和日历工程支持。租金将基于具有三个月或一年承诺的专用计算单元；运行单个模型实例将需要特定数量的计算单元（见下表）。
实例不会便宜。运行轻量级 GPT-3.5 的三个月承诺费用为 78,000 美元，一年承诺费用为 264,000 美元。从这个角度来看，Nvidia 的新一代超级计算机之一 DGX Station 每台售价149,000 美元。
（GPT-3.5 Turbo 似乎指的是 ChatGPT Turbo 模型）
扩展产品简介和完整来源： https://t.co/GhBlSOR0ZA pic.twitter.com/FL0r4uCEiR
– Travis Fischer (@transitive_bs) 2023 年 2 月 21 日
眼尖的 Twitter 和Reddit用户发现，实例定价图表中列出的文本生成模型之一具有最大 32k 的上下文窗口。 （上下文窗口指的是模型在生成额外文本之前考虑的文本；更长的上下文窗口允许模型本质上“记住”更多的文本。）GPT-3.5，OpenAI 的最新文本生成模型，有一个最大 4k 的上下文窗口，暗示这个神秘的新模型可能是期待已久的GPT-4——或者是迈向它的垫脚石。
在获得微软数十亿美元的投资后，OpenAI 面临越来越大的盈利压力。据报道，该公司预计到 2023 年将赚取 2 亿美元，与迄今为止投入这家初创公司的超过 10 亿美元相比，这微不足道。
计算成本在很大程度上是罪魁祸首。培训最先进的 AI 模型可能需要数百万美元以上的资金，而运行它们通常也不会便宜很多。根据 OpenAI 联合创始人兼首席执行官 Sam Altman 的说法，运行 OpenAI 的病毒式聊天机器人 ChatGPT 每次聊天花费几美分——考虑到截至去年 12 月 ChatGPT 拥有超过 100 万用户，这不是一个微不足道的数字。
在货币化方面，OpenAI 最近推出了 ChatGPT 的“专业”版本ChatGPT Plus ，起价为每月 20 美元，并与微软合作开发了Bing Chat ，这是一款引起主流关注的有争议的聊天机器人（委婉地说）。 据Semafor 和The Information 报道，OpenAI 计划在未来推出一款移动 ChatGPT 应用程序，并将其 AI语言技术引入 Word、PowerPoint 和 Outlook 等微软应用程序中。
另外，OpenAI 继续通过微软的Azure OpenAI 服务（一个以业务为中心的模型服务平台）提供其技术，并维护与 GitHub 合作开发的高级代码生成服务Copilot 。
OpenAI 的 Foundry 将让客户购买专用计算来运行其 AI 模型，作者Kyle Wiggers最初发表于TechCrunch