反弹卡夫卡事件卡夫卡、事件

由网友(噬心人)分享简介:我计划设置MySQL到Kafka的流程,最终目标是计划一个流程,根据更改的数据重新计算MongoDB文档。这可能涉及直接修补MongoDB文档,或运行将重新创建整个文档的进程。我的问题是,如果MySQL数据库的一组更改都与一个MongoDB文档相关,那么我不想为每个更改实时重新运行重新计算过程,我想等待更改‘结算’...

我计划设置MySQL到Kafka的流程,最终目标是计划一个流程,根据更改的数据重新计算MongoDB文档。

这可能涉及直接修补MongoDB文档,或运行将重新创建整个文档的进程。

弗兰茨 卡夫卡 无边梦魇与无家可归

我的问题是,如果MySQL数据库的一组更改都与一个MongoDB文档相关,那么我不想为每个更改实时重新运行重新计算过程,我想等待更改‘结算’,以便只在需要时运行重新计算过程。

有没有办法"揭穿"卡夫卡之流?例如,对于Kafka消费者,是否有一个定义良好的模式可以用来实现我想要的逻辑?

推荐答案

如果您使用的是Kafka Streams应用程序,您可以尝试使用suppress

它用于WindowedKStreamKTable阻止更新(&Q;),对于速率限制或窗口结束时的通知非常有用。

关于https://www.confluent.de/blog/kafka-streams-take-on-watermarks-and-triggers/

有一个非常有用的解释
阅读全文

相关推荐

最新文章