对人工智能，尤其是生成式人工智能（即生成图像、文本等的人工智能）的需求不断增长，正在推动人工智能推理芯片市场的发展。推理芯片可加速 AI 推理过程，这是 AI 系统根据在特定数据集上“训练”时所学知识生成输出（例如，文本、图像、音频）的过程。 AI 推理芯片可以——而且已经——用于从 Stable Diffusion 和 OpenAI 的 GPT-3 等系统中产生更快的生成，这些系统将文本提示翻译成艺术品，以及 OpenAI 的 GPT-3，它将几行散文扩展成完整的诗歌、散文和更多的。
许多供应商——包括初创公司和知名企业——都在积极开发和销售人工智能推理芯片。有Hailo 、 Mythic和Flex Logix等新贵。在现任方面，谷歌凭借其张量处理单元 (TPU)争夺主导地位，而亚马逊则押注Inferentia 。但竞争虽然激烈，但并没有吓跑像NeuReality这样的公司，它们占据了 AI 芯片推理市场，但旨在通过提供一套软件和服务来支持其硬件来实现差异化。
在这个主题上，NeuReality 今天宣布在由 Samsung Ventures、Cardumen Capital、Varana Capital、OurCrowd 和 XT Hi-Tech 牵头的 A 轮融资中筹集了 3500 万美元，SK Hynix、Cleveland Avenue、Korean Investment Partners、StoneBridge、和荣耀创投。联合创始人兼首席执行官 Moshe Tanach 告诉 TechCrunch，这笔资金将用于在 2023 年初完成 NeuReality 旗舰 AI 推理芯片的设计并将其交付给客户。
“ NeuReality成立的愿景是构建新一代 AI 推理解决方案，从传统的以 CPU 为中心的架构中释放出来，提供高性能和低延迟，并在成本和功耗方面实现最佳效率，”Tanach 通过电子邮件告诉 TechCrunch . “大多数可以利用 AI 的公司都没有亚马逊、Meta 和其他投资 AI 的大公司所拥有的资金或庞大的研发。 NeuReality 将把 AI 技术带给任何想要轻松且经济地部署的人。”
NeuReality 由 Tzvika Shmueli、Yossi Kasus 和 Tanach 于 2019 年共同创立，Tanach 此前曾在 Marvell 和英特尔担任工程总监。 Shmueli 曾任 Mellanox Technologies 后端基础设施副总裁和Habana Labs工程副总裁。至于 Kasus，他曾在 Mellanox 担任高级工程总监，并且是半导体公司 EZchip 的集成主管。
从一开始，NeuReality 就专注于将用于云数据中心和“边缘”计算机的 AI 硬件推向市场，或者是在本地运行并离线进行大部分数据处理的机器。 Tanach 表示，这家初创公司的当前一代产品系列网络附加处理单元 (NAPU) 针对 AI 推理应用进行了优化，包括计算机视觉（认为识别照片中对象的算法）、自然语言处理（文本生成和分类系统） ) 和推荐引擎（如在电子商务网站上推荐产品的类型）。
NeuReality 的 NAPU 本质上是多种处理器的混合体。它可以执行 AI 推理负载平衡、作业调度和队列管理等功能，这些功能传统上是在软件中完成的，但不一定非常有效。
图片来源： NeuReality
NeuReality 的 NR1 是 NAPU 系列中基于FPGA的 SKU，是一种网络连接的“片上服务器”，具有嵌入式 AI 推理加速器以及网络和虚拟化功能。 NeuReality 还提供 NR1-M 模块、一个包含 NR1 和网络连接推理服务器的PCIe卡，以及一个单独的模块——NR1-S——将多个 NR1-M 与 NR1 配对。
在软件方面，NeuReality 提供了一套工具，包括用于云和本地工作负载的软件开发工具包、帮助解决运行时问题的部署管理器和监控仪表板。
“用于 AI 推理的软件 [和] 用于异构计算的工具以及编译和部署的自动化流程……是支持我们创新硬件方法的魔力，”Tanach 说。 “NAPU 技术的第一批受益者是企业和云解决方案提供商，他们需要基础设施来支持他们的聊天机器人、语音机器人、自动转录和情绪分析，以及用于文档扫描、缺陷检测等的计算机视觉用例……而世界NeuReality 专注于深度学习处理器的改进，而 NeuReality 则专注于优化围绕它的系统及其上方的软件层，以提供更高的效率和更容易的推理部署流程。”
必须指出的是，NeuReality 尚未用经验证据支持其某些性能声明。它在最近的一篇文章中告诉 ZDNet，它估计与深度学习加速器供应商提供的可用 GPU 和 ASIC 相比，其硬件每美元的性能将提高 15 倍，但 NeuReality 尚未发布验证基准测试数据。这家初创公司也没有详细说明其专有网络协议，该协议之前声称比现有解决方案性能更高。
除了这些项目，大规模交付硬件并不容易——尤其是在涉及定制人工智能推理芯片的情况下。但 Tanach 认为，NeuReality 已经奠定了必要的基础，与 AMD 旗下的半导体制造商 Xilinx 合作进行生产，并与 IBM 建立合作伙伴关系来满足 NR1 的硬件要求。 （IBM 也是 NeuReality 的设计合作伙伴，此前曾表示正在“评估”这家初创公司的产品，以便在 IBM 云中使用。）Tanach 说，自 2021 年 5 月以来，NeuReality 一直在向合作伙伴运送原型。
据 Tanach 称，在 IBM 之外，NeuReality 正在与联想、AMD 和未具名的云解决方案提供商、系统集成商、深度学习加速器供应商和“推理消费”企业进行部署合作。然而，Tanach 拒绝透露这家初创公司目前拥有多少客户，或者它在收入方面的大致预测。
“我们看到这种流行病正在减缓公司的发展，并推动许多深度学习供应商之间的整合。然而，对我们来说，这并没有改变任何东西，因为明年年底或某个时候到 2024 年的某个时候，推理部署预计将出现爆炸式增长——而我们的技术正是这种增长的推动者和驱动力，”Tanach 说。 “NAPU 将为更广泛的技术含量较低的公司带来人工智能。它还将允许“超大规模用户”和下一波数据中心客户等大规模用户支持他们不断扩大的 AI 使用规模。”
以色列三星风险投资公司负责人 Ori Kirshner 在一份电子邮件声明中补充道：“我们看到对数据中心和本地用例的更高效率和易于部署的推理解决方案的大量和迫切需求，这就是为什么我们正在投资 NeuReality。该公司创新的分解、数据移动和处理技术改进了计算流程、计算存储流程和存储计算——所有这些对于采用和发展 AI 解决方案的能力都至关重要。”
NeuReality 目前拥有 40 名员工，计划在接下来的两个财政季度再招聘 20 名员工。迄今为止，它已筹集到 3800 万美元的风险投资。
NeuReality 融资 3500 万美元用于将 AI 加速器芯片推向市场作者： Kyle Wiggers ，最初发表于TechCrunch
原文： https://techcrunch.com/2022/12/06/neureality-ai-accelerator-chips-startup-raises-35m/