flink水印机制

mac2024-09-26  53

一.flink区别

水印机制

使用水印解决网络延迟问题

水印(watermark)就是一个时间戳,Flink可以给数据流添加水印,可以理解为:收到一条消息后,额外给这个消息添加了一个时间字段,这就是添加水印。

水印并不会影响原有Eventtime当数据流添加水印后,会按照水印时间来触发窗口计算一般会设置水印时间,比Eventtime小几秒钟当接收到的水印时间 >= 窗口的endTime,则触发计算

二. Flink基石

Flink之所以能这么流行,离不开它最重要的四个基石:Checkpoint、State、Time、Window。

三.storm与flink区别

综合上述测试结果,以下实时计算场景建议考虑使用 Flink 框架进行计算:

要求消息投递语义为 Exactly Once 的场景;数据量较大,要求高吞吐低延迟的场景;需要进行状态管理或窗口统计的场景

具体参见https://blog.csdn.net/huangshulang1234/article/details/78858467

流计算框架 Flink 与 Storm 的性能对比

最新回复(0)