随着 OpenAI 的 GPT-3 等人工智能服务越来越受欢迎，它们成为越来越有吸引力的攻击媒介。即使隐藏在 API 后面，黑客也可以尝试对支撑这些服务的模型进行逆向工程，或使用“对抗性”数据来篡改它们。 根据Gartner 的数据，2022 年 30% 的 AI 网络攻击将利用这些技术以及数据中毒，其中包括将不良数据注入用于训练模型以攻击 AI 系统的数据集中。
与任何行业一样，对抗安全威胁是一项永无止境的任务。但 Chris Sestito 声称，他的平台HiddenLayer可以通过自动识别针对模型的恶意活动并响应攻击来为 AI 即服务供应商简化它。
HiddenLayer 今天从 10-11 Ventures、Secure Octane 和其他投资者那里获得了 600 万美元的种子资金。 Sestito 是 Cylance 的前威胁研究主管和 Qualys 的工程副总裁，几个月前与 Tanner Burns 和 Jim Ballard 共同创立了该公司。 Burns 和 Ballard 还曾在 Qualys 和 Cylance 工作，并一起在 BlackBerry 工作，Ballard 是数据管理团队负责人，Burns 是威胁研究人员。
“几乎所有企业组织都为机器学习做出了重要的资源贡献，以赋予自己优势——无论这种价值是产品差异化、创收、成本节约还是效率，”Sestito 在电子邮件采访中告诉 TechCrunch。 “对抗性机器学习攻击能够造成我们在传统网络攻击中看到的所有相同损害，包括暴露客户数据和破坏生产系统。事实上，在 HiddenLayer，我们相信我们离看到机器学习模型被赎回他们的组织并不遥远。”
HiddenLayer 声称其技术可以保护模型免受攻击，而无需访问任何原始数据或供应商的算法。通过分析模型交互——换句话说，输入模型的数据（例如，猫的图片）和模型输出的预测（例如，标题“猫”）——以发现可能是恶意的模式，HiddenLayer 可以Sestito 说，“以非侵入性方式”工作，并且无需事先了解训练数据。
“对抗性机器学习攻击不像勒索软件那样响亮——你必须寻找它们才能及时捕获它们，”Sestito 说。 “HiddenLayer 专注于研究优先的方法，这将使我们能够发表我们的发现并训练世界做好准备。”
隶属于Knives and Paintbrushes集体的 AI 研究员 Mike Cook 表示，尚不清楚 HiddenLayer 是否在做任何“真正开创性的或新的”事情。 （Cook 与 HiddenLayer 无关。）不过，他指出 HiddenLayer 似乎正在做的事情有一个好处：试图将有关 AI 攻击的知识打包并让它们更广泛地访问。
“人工智能的热潮仍在蓬勃发展，但关于现代机器学习如何工作以及如何最好地使用它的许多知识仍然主要被具有专业知识的人所掌握。对我来说令人难忘的例子包括研究人员设法从 OpenAI 的 GPT-2 和 GPT-3 系统中提取单独的训练数据，”库克通过电子邮件告诉 TechCrunch。 “当专业知识难以获得且难以获得时，有时企业真正需要的只是提供获取它的便捷方法。”
HiddenLayer 目前还没有收入，没有客户，尽管 Sestito 说这家初创公司已经聘请了几个“高调”的设计合作伙伴。最终，库克认为，它的成功将更少取决于 HiddenLayer 的技术，而更多地取决于来自攻击的威胁是否像公司声称的那么大。
“我不知道[目前]对机器学习系统的攻击有多普遍。欺骗垃圾邮件过滤器让电子邮件通过，这在规模和严重性上与从大型语言模型中提取专有数据有很大不同，”库克说。
在他看来，很难确定针对 AI 系统的攻击的真实示例。根据 Adversara 的一项研究，对该主题的研究呈爆炸式增长，2019 年在科学出版网站 Arxiv.org 上发表了 1,500 多篇关于人工智能安全的论文，高于 2016 年的 56 篇。但是很少有关于黑客企图攻击商业面部识别系统的公开报道——假设这种企图首先发生。
Sestito 断言威胁——无论其今天的规模如何——将随着人工智能市场的增长而增长，隐含地对 HiddenLayer 有利。他承认，一些初创公司已经提供了旨在使 AI 系统更加强大的产品，包括Robust Intelligence 、CalypsoAI 和 Troj.ai。但 Sestito 声称 HiddenLayer 在其 AI 驱动的检测和响应方法中独树一帜。
“普华永道认为，到 2030 年，人工智能市场将达到 15.7 万亿美元。我们现在绝对必须开始捍卫这项技术，”塞斯蒂托说。 “到目前为止，我们最大的目标是让市场了解这一新威胁。对许多组织而言，对人工智能和机器学习的承诺相对较新，很少有人专注于保护这些资产。任何新技术都会带来新的攻击媒介；这是在新领域的同一场战斗。”