Confluent是在开源Apache Kafka项目之上构建流服务的公司,一直致力于帮助公司捕获数据流。首先它是在本地,然后是在云中。通过将流服务迁移到云端,它能够抽象出许多与管理底层基础设施相关的复杂性。
今天,在Current 会议上,该公司推出了一款名为 Stream Designer 的新工具,可以更轻松地在可视化工作流程中构建流数据管道。用户可以轻松地连接一组数据组件来构建定制的数据流,Confluent 会在后台为他们处理编码,本质上是将抽象从基础架构向上移动到设计。
公司联合创始人兼首席执行官 Jay Kreps 表示,虽然它仍然针对开发人员,但目标是让更多人能够接触到流设计,而不是 Apache Kafka 专家。
“我们仍在为所有类型的开发人员提供服务,但这使得您只需单击并构建一个数据管道,即可连接事物、转换数据、将事物从一个地方发送到另一个地方。它继承并在相同的底层流基础设施上工作。这意味着所有数据流都是可重用的,它们都是实时的,并且都是水平可扩展的,”Kreps 告诉 TechCrunch。
他说,尽管该程序为开发人员编写了底层代码,但需要使用它的开发人员仍然可以访问它。 “我们如何做到这一点的一个很酷的事情是,即使您不必编写任何代码,所有代码都在那里。您可以确切地看到它在引擎盖下所做的事情。您可以准确地看到我们将在这些数据上执行的 SQL 转换类型,因此如果您需要这样做,它可以与现有的开发人员工具链一起使用,”他说。
Confluent Stream Designer 示例图片来源: Confluent
对于 Kreps 来说,这都是 Kafka 演变的一部分,Kafka 最初是在 LinkedIn 构思的一个用于移动大量数据的项目。起初,这是一项技术含量很高的工作,但随着时间的推移,公司一直在努力让组织内更多的人能够越来越多地使用它。
除了 Stream Designer,该公司还宣布了 Stream Governance,这有助于确保数据得到正确使用,并且只有授权用户才能看到数据。
“对于很多组织来说,这几乎就像存在两种相互竞争的压力:一种是解锁数据并使用它来提高效率,更好地为客户服务,提高效率。另一个是把它锁起来,保证安全,不要让任何不好的事情发生。除非你有对这两个维度都有帮助的工具,否则你最终会有点卡住,”他说。流治理可帮助用户确保他们以安全且合规的方式使用流经这些数据流的数据。
在此期间,Confluent 宣布了一项新的 Confluent for Startups 计划,旨在让初创公司使用该平台获得免费积分并获得专业知识,以帮助他们开始使用数据流技术。
Stream Designer 和 Stream Governance 从今天开始作为 Confluent 云服务订阅包的一部分提供,并且不会对新功能收取额外费用,他说。
Confluent 推出由Ron Miller最初发表在TechCrunch上的可视化流数据管道设计器
原文: https://techcrunch.com/2022/10/04/confluent-launches-visual-streaming-data-pipeline-designer/