Cohere是一家创建大型语言模型以与OpenAI竞争的初创公司,今天宣布推出一个非营利性研究实验室:Cohere For AI。由 Google 校友 Sara Hooker 领导的 Cohere 表示,Cohere Labs 将通过为开源社区贡献“基础研究”来解决行业中一些最严峻的挑战。
“随着我们继续拓宽研究的方式和地点,我们很高兴能够领导一个新的非营利性 AI 研究实验室。有很多东西有待发现,我们的重点将放在公开合作和贡献基础研究上,”胡克通过电子邮件告诉 TechCrunch。 “与此同时,我们工作的一个关键组成部分将是扩大社区并帮助培养下一代人才,为核心研究工作创造新的切入点。 “
长期以来,人工智能社区一直担心没有足够的资金用于富裕公司之外的人工智能研究。一项研究发现,从 2008 年到 2019 年,在人工智能研究中与公司的联系——无论是资金还是附属机构——都显着增长。另一项研究显示,谷歌母公司 Alphabet 以及亚马逊和微软在 2004 年之间雇佣了多达 52 名终身人工智能教授和 2018 年,将这些准教师从学术和非营利工作中移除。
将权力集中在公司内部有许多明显的缺点,但最令人担忧的一点是,它往往低估了研究方面的慈善、正义和包容等价值观。许多专家在 2020 年的一篇文章中与 Wired交谈时指出,企业 AI 项目导致了对只有能够访问强大数据中心的人才能进行的项目的“不科学固定”。无论领域如何,公司内部的工作通常都受到严密保护,需要数年时间才能看到曙光——如果有的话。
“我们的议程集中在推进机器学习问题的进展以及以社区为中心的研究,”胡克说。 “我们还希望有一个积极的研究议程,以便我们能够在重大挑战成为我们需要追溯解决的问题之前识别它们。例如,我们专注于各种不同的学科来减轻偏见,研究的核心部分围绕人工智能安全和模型的稳健使用。”
Hooker 说,Cohere For AI 希望构建的另一个核心组件是对计算资源的访问——特别是帮助研究人员更好地利用“尖端”模型来帮助开发他们的工作。”正如语言模型(即理解和生成文本的人工智能系统)的趋势所示,计算访问的作用正在发生变化。仅在几年前,创建高度复杂的语言模型需要大量的计算资源。但现在,得益于学术突破和开源社区的努力,进入门槛远低于以往。
非营利之路
在包括加州大学伯克利分校 AI 实验室联合主任 Pieter Abbeel 在内的 AI 杰出人物的支持下,Cohere 于 2019 年由 Aidan Gomez、Ivan Zhang 和 Nick Frosst 等优秀团队创立。 Gomez 与人合着了学术论文“Attention Is All You Need” ,向世界介绍了一种称为 Transformer 的基本 AI 模型架构。 (在其他备受瞩目的系统中,OpenAI 的GPT-3和Codex都基于 Transformer 架构。)张和 Gomez 是 For.ai 的贡献者,这是一个由数据科学家和工程师组成的开放 AI 研究团体。
“For.ai 旨在帮助早期职业爱好者更好地与更有经验的研究人员互动,”胡克说。 “许多创始成员继续攻读博士学位,或在学术或工业实验室工作。当时,For.ai 是首批支持全球独立研究人员的社区驱动研究团体之一。现在,Cohere 团队及其支持者很高兴能够重新引入最初的概念,但从 Cohere 中获得了更多资源。”
根据 Hooker 的说法,Cohere For AI 将通过指导研究机会、参与传统会议以及对研究期刊的贡献,为数据科学家提供“会面和协作”的方式。其中一部分将通过促进对开源科学实践的管理和“负责任的”代码发布,以及支持通过不同媒介(如博客文章)鼓励“科学交流”的努力。
“我们真的希望将 Cohere For AI 塑造成一个雄心勃勃的研究实验室,为研究社区做出贡献,同时也优先考虑如何更好地让不同的声音参与进来。我们希望帮助改变研究的地点、方式和人员,”胡克说。
尽管有崇高的目标,Cohere For AI——Cohere 自己将资助——可能会引起对 Cohere 公司关系持谨慎态度的研究人员的怀疑。迄今为止,Cohere 已从包括 Tiger Global Management 和 Index Ventures 在内的机构风险投资公司筹集了 1.7 亿美元,并与谷歌有许多关联。谷歌云人工智能首席科学家李飞飞和谷歌研究员 Geoffrey Hinton 是 Cohere 的早期支持者,Gomez 和 Frosst 此前曾在谷歌人工智能研究部门之一的谷歌大脑工作。 Cohere 还与 Google 建立了合作伙伴关系,在公司的专用硬件基础设施上训练大型语言模型。
2019 年,Google 臭名昭著地解散了一个 AI 顾问委员会,该委员会成立仅一周。 2020 年,该公司解雇了领先的人工智能研究员 Timnit Gebru,她声称这是对向同事发送一封批评谷歌管理实践的电子邮件的报复。谷歌随后解雇了另一位伦理学家玛格丽特·米切尔(Margaret Mitchell),后者曾公开谴责该公司对这种情况的处理方式,而第三位是萨特拉吉特·查特吉(Satrajit Chatterjee),此前他与人合着了一篇质疑谷歌在人工智能芯片设计系统方面的工作的论文。
用善意铺就
从广义上讲,资助人工智能研究的非营利计划好坏参半。
成功案例之一是由已故微软联合创始人保罗艾伦创立的艾伦人工智能研究所(AI2),该研究所旨在通过构建具有推理能力的人工智能系统来实现科学突破。虽然不是严格意义上的非营利组织,但由前 OpenAI 高管发起的 Anthropic 已经筹集了超过 50 亿美元,用于研究“可靠、可解释和可操纵”的人工智能系统。
但是对于每个 AI2 和 Anthropic,都有一个 OpenAI,它最初是一个非营利组织,后来转变为一个有上限的利润并接受微软 10 亿美元的投资。与此同时,在 Politico 报道称施密特对白宫科技政策办公室拥有异常强大的影响力后,谷歌前董事长埃里克施密特最近宣布的 1.25 亿美元人工智能研究基金引发了新的争议。 (第一批收件人之一,伯克利大学教授 Rediet Abebe 要求将她的名字从考虑中删除。)
然而,一些较新的团体已经显示出希望,特别是 Gebru 的分布式 AI 研究,这是一个全球性的人工智能研究非营利组织。 Hugging Face 的BigScience和EleutherAI等项目是 AI 超越企业影响力范围的其他有力例子。
“最终,我们要证明 Cohere For AI 不会随着时间的推移而转向冒险,”胡克说。 “尽管 Cohere For AI 将依靠 Cohere 获得资源和资金,但两者之间已经形成了明显的分离,以保持其作为研究实验室的独立性。这种分离至关重要,这样它才能作为一个独立实体继续为更广泛的社区做出贡献和服务。 Cohere For AI 是一个非营利组织,旨在与许多不同的组织公开合作。它的工作将是开源的,以便更多地访问更广泛的社区。”
原文: https://techcrunch.com/2022/06/14/ai-startup-cohere-launches-a-nonprofit-research-lab/