Decodable是一个资金雄厚的实时数据工程和流处理平台,部分基于Apache Flink开源项目,今天推出了一项重大更新,旨在使该服务对大型企业更具吸引力。除了扩展其连接器库以支持从更多来源获取数据和新的企业支持选项之外,此处的重要功能是启动其自动任务大小调整功能。得益于此,Decodable 现在可以根据需要动态配置工作负载,以优化性能和成本。
正如 Decodable 创始人兼首席执行官 Eric Sammer 告诉我的那样,他认为虽然流处理本身正在迅速成为主流——随着 Apache Flink 成为事实上的标准——但围绕它发生的事情还不是很主流,部分原因是直到现在,只有企业与高度复杂的工程团队能够建立在这项技术之上。
“我想到的类比是网络交换机,”他解释道。 “我们可以来回移动数据包。下一次迭代——我认为这部分还没有完全成为主流——是在此之上的处理能力——转换和聚合的能力。我认为 10 年前我们会称之为流分析。”
Lyft、Uber 或 Stripe 等公司能够在这些实时数据流之上创建企业级抽象层。他认为,其他人需要像 Decodable 这样的工具才能做到这一点,特别是如果他们想要构建面向消费者的应用程序。
“流媒体是一项技术,”他还指出。 “它是 Debezium 加上 Kafka 或 Redpanda 或其他任何东西的集合——加上 Flink,加上 API 和所有这些其他类型的东西。建立一个团队并将其付诸实施的成本高得令人望而却步。这就是我们增加价值的地方。这就是为什么我们专注于开发人员体验以及自助服务和企业功能。”
至于新的任务大小调整功能,Sammer 指出,用户可以告诉服务他们希望为给定的工作负载分配多少任务。 Decodable 然后将扩大到这个最大任务数量——或者缩小规模,如果有必要的话。对于很多用户来说,这可能会导致总体支出降低。虽然这也可能意味着他们不会在 Decodable 上花那么多钱,但 Sammer 认为,如果该公司能够为其用户提供更轻松、更具成本效益的流处理,这些用户将为该服务带来更多的工作负载。 “在极少数情况下,您不希望获得更新鲜、更准确的数据——或者能够实时做出更好的决策,”他说。 “所以从这个角度来看,每当我们让某人在 Decodable 上运行工作负载变得更便宜时,他们就会增加更多的工作负载。”
Decodable 希望让实时流处理成为主流Frederic Lardinois最初发表于TechCrunch
原文: https://techcrunch.com/2023/01/18/decodable-wants-to-take-real-time-stream-processing-mainstream/