重磅！MongoDB推出Atlas Stream Processing公共预览版

一、提升开发者体验

MongoDB在内测阶段就将开发者体验置于核心位置，这对于促使Atlas Stream Processing成为开发团队的首选解决方案至关重要。在公共预览版中，MongoDB更注重提升开发者的体验，为此MongoDB增加了两项增强型功能。

● VS Code集成。MongoDB VS Code插件增加了对连接流处理实例的支持。对于那些已经使用了该插件的开发者而言，随着这项新功能的引入，团队能够在熟悉的开发环境中轻松地创建和管理处理器。这意味开发者不再需要频繁切换工具，而可以将更多时间用来构建应用程序！

● 改进死信队列（DLQ）功能。DLQ支持是实现强大流处理功能的关键要素，在公开预览版中，MongoDB进一步扩展了DLQ功能。现在，当使用sp.process()来执行管道操作以及在运行中的处理器上运行.sample()时，DLQ消息将自动显示，这样可以简化开发工作，而无需设置目标集合来充当DLQ。

二、扩展高级特性和功能

Atlas Stream Processing原本就已经支持很多常用的聚合操作符，这些操作符在静态数据Query API查询中经常被开发者所使用。而且MongoDB还增加了强大的窗口功能，以及可轻松合并数据并将其发送到Atlas数据库或Kafka主题的功能。

公开预览版将提供更多功能，以满足那些依靠流处理来提供卓越客户体验的先进团队的需求，包括：

●时间序列集合支持。Atlas Stream Processing现已支持将处理器的处理结果发送到时间序列集合中。这使得开发者能够通过Atlas Stream Processing连续地对数据进行预处理，并且将数据保存下来以便将来在时间序列集合中进行回顾访问（时间序列集合是Atlas平台上专为高效存储和查询时间序列数据而构建的一种集合类型）。

● $lookup操作符。现在，开发者可以通过使用远程Atlas集群的数据，对流处理器中正在处理的文档以及目标集合中的字段进行连接，从而丰富流处理器中正在处理的文档。

●变更流变更前后文档信息的存储。许多开发者正在使用Atlas Stream Processing通过变更流持续处理Atlas数据库（作为源）中的数据。MongoDB在公共预览中增强了变更流$source变量，以支持变更前和变更后文档信息的存储。这一功能使得开发者能够处理一些常见的用例，包括计算文档中字段之间的增量或差异，以及访问已删除文档的完整内容等。

● 在合并和发出阶段使用动态表达式进行条件路由。通过条件路由，开发者可以使用Atlas Stream Processing正在处理的文档中的字段值，动态地将特定的消息发送到不同的Atlas集合或Kafka主题。现在 m e r g e 和 merge和 merge和emit阶段也支持使用动态表达式。基于此，用户可以根据需求，在需要将信息分发到不同集合或主题的用例中使用Query API查询。

● 空闲流超时。现在，用户可以对那些因缺乏传入数据导致水印无法更新的流进行配置，在特定时间段后关闭这些数据流，并输出窗口结果。这对于处理数据流不一致的流媒体源来说至关重要。

三、改善运行和增强安全性

最后，在最近几个月，MongoDB加大投入力度，改善Atlas Stream Processing的运行和安全。其中一些亮点包括：

● 检查点。目前，Atlas Stream Processing通过执行检查点的方式，在处理数据流过程中保存状态信息。由于流处理器处于持续运行状态，无论出现数据问题还是基础设施故障，都需要一种智能的恢复机制来确保它能够持续可靠地运行。通过采用检查点机制，用户可以轻松地从停止收集和处理数据的位置恢复流处理器的正常运行。

● Terraform提供商支持。Terraform目前支持创建连接和流处理实例（SPI）。这样可以将基础架构编写为可重复部署的代码。

● 安全角色。Atlas Stream Processing引入了项目级角色，为用户提供了执行流处理任务所需的完整权限。流处理器能够在特定角色的环境下运行，支持最低权限的配置选项。

● Kafka消费者群组支持。Atlas Stream Processing中的流处理器现在采用Kafka消费者群组来进行偏移跟踪。得益于此，用户可以轻松地调整处理器在流操作中的位置，并实时监控潜在的处理器延迟情况。

关于新功能的最后一点说明是，MongoDB计划在Atlas Stream Processing的公开预览版中，开始按照促销价格收取费用，直至可广泛使用的版本正式发布。更多关于Atlas Stream Processing价格的详细信息，请参阅MongoDB的相关文档。

对MongoDB而言，公共预览版的推出是重要的一步，它标志着MongoDB的开发者数据平台得到了扩展，为更多团队提供了流处理解决方案。该解决方案旨在简化构建反应式、响应式和事件驱动型应用程序的操作复杂性，同时提升开发者的体验。

本文链接：https://www.kjpai.cn/news/2024-05-01/164098.html，文章来源：网络cs，作者：焦糖，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！