OpenAI现在可能是机器学习的代名词,而谷歌正在尽最大努力使自己摆脱困境,但两者可能很快就会面临新的威胁:快速增加开源项目,推动最先进的技术发展,让财力雄厚但笨重的公司在他们的尘土中。这种类似 Zerg 的威胁可能不是存在的威胁,但它肯定会让占主导地位的玩家处于守势。
从长远来看,这个概念并不新鲜——在快速发展的人工智能社区中,预计每周都会看到这种中断——但据称源自谷歌内部的一份广泛共享的文件对这种情况进行了透视。 “我们没有护城河,OpenAI 也没有,”备忘录中写道。
我不会对这篇完全可读且有趣的文章进行冗长的总结来妨碍读者,但要点是,虽然 GPT-4 和其他专有模型已经获得了大部分关注和收入,但他们已经取得了领先优势有了资金和基础设施,它看起来一天比一天瘦。
虽然按照普通主要软件发布的标准,OpenAI 的发布速度似乎非常快:如果将 GPT-3、 ChatGPT和 GPT-4 与 iOS 或 Photoshop 版本进行比较,它们肯定紧随其后。但它们仍然以月和年的规模发生。
备忘录指出,在 3 月份,Meta 泄露的基础语言模型 LLaMA 以相当粗糙的形式泄露。几周之内,人们在笔记本电脑和每分钟一分钱的服务器上进行修补,添加了核心功能,如指令调整、多种模式和从人类反馈中强化学习。 OpenAI 和谷歌可能也在研究代码,但他们没有——也不能——复制在 subreddits 和 Discords 中发生的协作和实验水平。
难道这个看似对挑战者构成不可逾越的障碍——护城河——的巨大计算问题真的已经是另一个人工智能发展时代的遗留物了吗?
Sam Altman 已经指出,在问题上使用参数时,我们应该期望收益递减。当然,越大并不总是越好——但很少有人会猜到反而是越小越好。
GPT-4 是一家沃尔玛,实际上没有人喜欢沃尔玛
OpenAI 和其他人现在追求的业务范式是 SaaS 模型的直接后代。你有一些高价值的软件或服务,你通过 API 或类似的方式提供对它的仔细门控访问。当您投资数亿美元来开发一个单一但通用的产品(如大型语言模型)时,这是一种简单明了且经过验证的方法,它非常有意义。
如果 GPT-4 能够很好地概括来回答有关合同法先例的问题,那就太好了——没关系,它的大量“智力”致力于能够模仿每一位曾经用英语发表过作品的作者的风格。 GPT-4 就像沃尔玛。没有人真的想去那里,所以公司非常确定没有其他选择。
但客户开始怀疑,为什么我要穿过 50 条垃圾通道去买几个苹果?如果我只想发挥一些智能,将这份合同的语言与其他数百种语言相匹配,为什么我要雇用有史以来最大、最通用的人工智能模型的服务?冒着折磨这个比喻的风险(更不用说读者了),如果 GPT-4 是你去买苹果的沃尔玛,那么当停车场的水果摊开门时会发生什么?
在 AI 世界中,没过多久,大型语言模型就以高度截断的形式在(恰好)Raspberry Pi 上运行。对于像 OpenAI、微软、谷歌或人工智能即服务世界中的任何其他公司这样的企业来说,它实际上是在乞讨他们业务的整个前提:这些系统很难构建和运行,以至于他们必须为你而做。事实上,这些公司似乎开始挑选并设计了适合其现有商业模式的 AI 版本,而不是相反!
曾几何时,您不得不将涉及文字处理的计算卸载到大型机上——您的终端只是一个显示器。当然那是一个不同的时代,我们早就能够将整个应用程序安装在个人计算机上。自从我们的设备反复并以指数方式增加其计算能力以来,这个过程已经发生了很多次。如今,当某些事情必须在超级计算机上完成时,每个人都明白这只是时间和优化的问题。
对于谷歌和 OpenAI 来说,时间来得比预期的要快得多。他们不是进行优化的人——而且可能永远不会达到这个速度。
现在,这并不意味着他们完全不走运。谷歌并没有成为最好的——至少很长一段时间都没有。成为沃尔玛有其好处。如果公司能够从现有供应商那里获得合理的价格并且不会造成太大的破坏,那么公司就不想必须找到能够将他们想要的任务执行速度提高 30% 的定制解决方案。永远不要低估惯性在商业中的价值!
当然,人们在 LLaMA 上的迭代速度如此之快,以至于他们用尽了骆驼科动物来命名它们。顺便说一句,我要感谢开发人员提供了一个借口,让我可以滚动浏览数百张可爱的黄褐色骆驼图片,而不是工作。但是,很少有企业 IT 部门会通过 OpenAI 简单、有效的 API 拼凑 Stability 的开源衍生产品的实施,该衍生产品是一个准合法泄露的元模型。他们有生意要办!
但与此同时,我几年前就停止使用 Photoshop 进行图像编辑和创作,因为像 Gimp 和 Paint.net 这样的开源选项已经变得非常好。在这一点上,争论转向了另一个方向。为 Photoshop 支付多少钱?没办法,我们有生意可做!
谷歌的匿名作者显然担心的是,从第一种情况到第二种情况的距离将比任何人想象的要短得多,而且似乎没有人能对此做任何该死的事情。
除了,备忘录争辩说:拥抱它。开放、发布、协作、共享、妥协。正如他们得出的结论:
谷歌应该让自己成为开源社区的领导者,通过与更广泛的对话合作而不是忽视来带头。这可能意味着采取一些不舒服的步骤,比如发布小型 ULM 变体的模型权重。这必然意味着放弃对我们模型的一些控制。但这种妥协是不可避免的。我们不能希望既推动创新又控制创新。
谷歌和 OpenAI 是被水果摊包围的沃尔玛 德文·科尔德威( Devin Coldewey)最初发表于TechCrunch
原文: https://techcrunch.com/2023/05/05/google-and-openai-are-walmarts-besieged-by-fruit-stands/