由网友(噬心人)分享简介:我计划设置MySQL到Kafka的流程,最终目标是计划一个流程,根据更改的数据重新计算MongoDB文档。这可能涉及直接修补MongoDB文档,或运行将重新创建整个文档的进程。我的问题是,如果MySQL数据库的一组更改都与一个MongoDB文档相关,那么我不想为每个更改实时重新运行重新计算过程,我想等待更改‘结算’...
我计划设置MySQL到Kafka的流程,最终目标是计划一个流程,根据更改的数据重新计算MongoDB文档。
这可能涉及直接修补MongoDB文档,或运行将重新创建整个文档的进程。
我的问题是,如果MySQL数据库的一组更改都与一个MongoDB文档相关,那么我不想为每个更改实时重新运行重新计算过程,我想等待更改‘结算’,以便只在需要时运行重新计算过程。
有没有办法"揭穿"卡夫卡之流?例如,对于Kafka消费者,是否有一个定义良好的模式可以用来实现我想要的逻辑?
推荐答案
如果您使用的是Kafka Streams应用程序,您可以尝试使用suppress
它用于WindowedKStream
和KTable
阻止更新(&Q;),对于速率限制或窗口结束时的通知非常有用。
关于https://www.confluent.de/blog/kafka-streams-take-on-watermarks-and-triggers/
有一个非常有用的解释相关推荐
最新文章