OctoML 是一家资金雄厚的机器学习初创公司,可帮助企业优化和部署模型,今天对其产品进行了重大更新,这将使开发人员更容易将 ML 模型集成到他们的应用程序中。有了这个新版本,OctoML 现在可以将 ML 模型转换为可移植的软件功能,开发人员可以通过一致的 API 与之交互。有了这个,将这些模型集成到现有的 DevOps 工作流中也会更容易。
正如 OctoML 创始人兼首席执行官 Luis Ceze 告诉我的,他认为这对公司来说是一个重要时刻。 Ceze 与该公司的 CTO Tianqi Chen、CPO Jason Knight、首席架构师 Jared Roesch 和技术合作伙伴关系副总裁 Thierry Moreau 共同创立了公司,以生产TVM ,这是一个开源机器学习编译器框架,可帮助 ML 工程师针对特定目标优化他们的模型硬件。
“当我们开始OctoML时,我们说:让我们将TVM作为服务,” Ceze说。 “我们从中学到了很多,但随着我们与更多客户的合作,我们发现AI/ML部署仍然太难了。”
他指出,随着过去几年来获取数据和构建模型的工具得到改进,这些模型的功能与实际将它们集成到应用程序之间的差距只会越来越大。因此,通过本质上将模型转化为函数,这种差距基本消失了。这个新系统为开发人员抽象了很多复杂性,这肯定有助于将更多模型投入生产。目前,根据你信任谁的数量,毕竟有超过一半的训练有素的机器学习模型从未投入生产。
由于 OctoML 已经提供了使这些模型基本上可以在任何地方运行的工具,因此许多关于在何处部署模型的选择现在也可以自动化。 “让我们与任何其他解决方案不同的是,我们能够获得部署模型,将其集成到应用程序中,然后在任何端点上运行,” Ceze说,并指出这也是自动缩放的游戏规则改变者,因为它允许工程师构建自动缩放系统,可以根据需要将模型移动到具有不同性能特征的 CPU 和加速器。
不过,模型即功能功能只是该公司今天宣布的一部分。该平台还新增了一个新工具,可帮助 OctoML 使用机器学习来优化机器学习模型。该服务可以自动检测和解决依赖关系以及清理和优化模型代码。还有一个新的本地 OctoML 命令行界面和对 Nvidia 的 Triton 推理服务器的支持,现在可以与新的模型即功能服务一起使用。
“NVIDIA Triton 是一种强大的抽象,它允许用户在 CPU 和 NVIDIA GPU 上利用多个深度学习框架和加速技术,”OctoMl 首席技术官 Jared Roesch 说。 “此外,通过将 NVIDIA Triton 与 OctoML 相结合,我们使用户能够更轻松地选择、集成和部署基于 Triton 的功能。 OctoML 工作流程通过无缝集成 OctoML 加速技术进一步提高了基于 Triton 的部署的用户价值,让您能够充分利用服务层和模型层。”
展望未来,Ceze 指出,该公司自 2020 年以来已从 20 名员工发展到 140 多名员工,将专注于将其服务提供给包括智能手机在内的更多边缘设备,并且由于与高通的合作,其他支持 Snapdragon 的设备。
“时机似乎是正确的,因为当我们与正在部署到云的人们交谈时,现在他们都说他们也计划在边缘部署, ”他说。
原文: https://techcrunch.com/2022/06/22/octoml-makes-it-easier-to-put-ai-ml-models-into-production/