在急于构建、测试和部署人工智能系统的过程中，企业通常缺乏资源和时间来全面验证他们的系统并确保它们没有错误。 Gartner 在 2018 年的一份报告中预测，由于数据、算法或负责管理它们的团队存在偏见，85% 的人工智能项目将产生错误的结果。即使是大型科技公司也不能幸免于陷阱——对于一个客户来说，IBM最终未能提供一个人工智能驱动的癌症诊断系统，该系统最终在 4 年内耗资 6200 万美元。
受“漏洞赏金”计划的启发，Jeong-Suh Choi 和 Soohyun Bae 创立了Bobidi ，这是一个旨在通过将系统暴露给全球数据科学社区来帮助公司验证其 AI 系统的平台。通过 Bobidi，Bae 和 Choi 试图构建一种产品，让客户通过 API 以“安全”的方式将 AI 系统与错误搜索社区连接起来。
Choi 在电子邮件采访中解释说，这个想法是让开发人员测试 AI 系统和偏差——即系统性能不佳的边缘情况——以减少验证所需的时间。 Bae 之前是 Google 的高级工程师，并在 Niantic 领导增强现实地图，而 Choi 是 eBay 的高级经理，并领导 Facebook 的“人员工程”团队。大约 10 年前，两人在一个科技行业的活动中相遇。
“当模型中的偏见或缺陷暴露出来时，损害已经是不可挽回的，”崔说。 “例如，自然语言处理算法 [如 OpenAI 的 GPT-3] 经常被发现会发表与仇恨言论、歧视和侮辱有关的有问题的评论，或对这些评论做出错误的回应。使用 Bobidi，社区可以‘预测试’算法并找到那些漏洞，这实际上非常强大，因为你可以在代表不断变化的社会和政治背景的特定条件下与很多人一起测试算法。”
为了测试模型，开发人员的 Bobidi “社区”为给定系统构建了一个验证数据集。当开发人员试图找到系统中的漏洞时，客户会得到一个分析，其中包括假阴性和阳性的模式以及与它们相关的元数据（例如，边缘案例的数量）。
将敏感的系统和模型暴露给外界可能会让一些公司停下来，但 Choi 断言 Bobidi 会在一定天数后“自动过期”模型，这样它们就无法被逆向工程。客户根据社区进行的“合法”尝试次数为服务付费，每 10 次尝试的费用为 1 美元（0.99 美元）。
Choi 指出，开发商可以通过 Bobidi 赚到的钱——每小时 10 到 20 美元——远高于世界许多地区的最低工资。假设 Choi 的估计实际上是有根据的，Bobidi 与数据科学行业的趋势背道而驰，该行业往往支付给数据验证者和标注者的费用很低。一项研究发现，广泛使用的 ImageNet 计算机视觉数据集的注释者的平均工资为每小时 2 美元，只有 4% 的人每小时收入超过 7.25 美元。
抛开薪酬结构不谈，众筹验证并不是一个新想法。 2017 年，马里兰大学计算语言学和信息处理实验室推出了一个名为 Break It, Build It 的平台，让研究人员可以向用户提交模型，这些用户的任务是提出示例来击败它们。在其他地方，Meta 维护一个名为 Dynabench 的平台，该平台拥有用户“傻瓜”模型，旨在分析情绪、回答问题、检测仇恨言论等。
但 Bae 和 Choi 相信“游戏化”方法将帮助 Bobidi 脱颖而出。虽然还处于早期阶段，但该供应商声称拥有增强现实和计算机视觉初创公司的客户，包括 Seerslab、Deepixel 和 Gunsens。
这种吸引力足以说服几位投资者为该合资企业提供资金。今天，Bobidi 完成了 550 万美元的种子轮融资，参与方包括 Y Combinator、We Ventures、现代汽车集团、Scrum Ventures、Meta 的新产品实验 (NPE)、Lotte Ventures、Atlas Pac Capital 和几位未公开身份的天使投资人。
值得注意的是， Bobidi是 NPE 的首批投资之一，该公司去年从构建面向消费者的应用程序转变为对专注于人工智能的初创公司进行种子阶段投资。 NPE 投资负责人 Sunita Parasuraman 在被联系征求意见时通过电子邮件表示：“我们很高兴支持 Bobidi 才华横溢的创始人，他们正在帮助公司通过全球人们推动的创新解决方案更好地验证 AI 模型。”
“Bobidi 是社区和 AI 之间的混搭，是我们共享的专业知识的独特组合，”Choi 补充道。 “我们相信大数据时代即将结束，我们即将进入高质量数据的新时代。这意味着我们正在从一个专注于构建使用数据集给出的最佳模型的时代进入新时代，在这个时代，人们的任务是找到使用模型完全相反的方法给出的最佳数据集。”
Choi 表示，种子轮融资的收益将用于招聘——Bobidi 目前有 12 名员工——以及建立“客户洞察体验”和各种“核心机器学习技术”。尽管经济逆风，该公司仍希望在今年年底前将其团队规模扩大三倍。