Knative 实战：基于 Kafka 实现消息推送

mac2024-05-09 27

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aSyJ7RIt-1572505304972)(https://yqfile.alicdn.com/01ee67ae04a648166d18ad84af8538056340b4f8.png)]

作者 | 元毅阿里云智能事业群高级开发工程师

**导读：**当前在 Knative 中已经提供了对 Kafka 事件源的支持，那么如何基于 Kafka 实现消息推送呢？本文作者将以阿里云 Kafka 产品为例，给大家解锁这一新的姿势。

背景

消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。

结合 Knative 中提供了 KafkaSource 事件源的支持，可以方便的对接 Kafka 消息服务。

另外也可以安装社区 Kafka 2.0.0 及以上版本使用。

在阿里云上创建 Kafka 实例

创建 Kafka 实例

登录消息队列 Kafka 控制台, 选择【购买实例】。由于当前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本，在阿里云上创建 Kafka 实例需要选择包年包月、专业版本进行购买，购买之后升级到 2.0.0 即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xgsZy6iA-1572505304973)(https://yqfile.alicdn.com/2fd78cb14c9a306c65db58aa02fd33c316cebb1e.png)]

部署实例并绑定 VPC

购买完成之后，进行部署，部署时设置 Knative 集群所在的 VPC 即可：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WcDAjdgX-1572505304973)(https://yqfile.alicdn.com/4f7d210e3f0f1a7f362fa21e0acbd7a16357e8c6.png)]

创建 Topic 和 Consumer Group

接下来我们创建 Topic 和消费组。进入【Topic 管理】，点击创建 Topic, 这里我们创建名称为 demo 的 topic:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7mGhOu7B-1572505304973)(https://yqfile.alicdn.com/2216c543a10ab4d392f05e08f2ef5db323746fea.png)]

进入【Consumer Group 管理】,点击创建 Consumer Group, 这里我们创建名称为 demo-consumer 的消费组:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-okSm4R1U-1572505304973)(https://yqfile.alicdn.com/c618fe563a0633ff292baed46e8d087e879dcb8a.png)]

部署 Kafka 数据源

部署 Kafka addon 组件

登录容器服务控制台，进入【Knative 组件管理】，部署 Kafka addon 组件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2riJmTGq-1572505304973)(https://yqfile.alicdn.com/7148ab0f6fa996ebe37e5c5505de8ac65aa0c2dc.png)]

创建 KafkaSource 实例

首先创建用于接收事件的服务 event-display:

apiVersion: serving.knative.dev/v1 kind: Service metadata: name: event-display spec: template: spec: containers: - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yYgQ30YP-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2fPYNlMp-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

接下来创建 KafkaSource：

apiVersion: sources.eventing.knative.dev/v1alpha1 kind: KafkaSource metadata: name: alikafka-source spec: consumerGroup: demo-consumer # Broker URL. Replace this with the URLs for your kafka cluster, # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092. bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092 topics: demo sink: apiVersion: serving.knative.dev/v1alpha1 kind: Service name: event-display

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c8r9PIZU-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KpB9HsFr-1572505304974)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

说明：

bootstrapServers: Kafka VPC 访问地址consumerGroup：设置消费组topics：设置 Topic

创建完成之后，我们可以查看对应的实例已经运行：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods NAME READY STATUS RESTARTS AGE alikafka-source-k22vz-db44cc7f8-879pj 1/1 Running 0 8h

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QQM3Hqec-1572505304975)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cYR0WMfv-1572505304975)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

验证

在 Kafka 控制台，选择 topic 发送消息，注意这里的消息格式必须是 json 格式：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7yx9Xbqk-1572505304976)(https://yqfile.alicdn.com/03d2d726e21690b683cb5b047ed1cefc57544cb1.png)]

我们可以看到已经接收到了发送过来的 Kafka 消息：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container ️ CloudEvent: valid Context Attributes, SpecVersion: 0.2 Type: dev.knative.kafka.event Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo ID: partition:7/offset:1 Time: 2019-10-18T08:50:32.492Z ContentType: application/json Extensions: key: demo Transport Context, URI: / Host: event-display.default.svc.cluster.local Method: POST Data, { "key": "test" }

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c2MYPNQC-1572505304976)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cWYsY2Op-1572505304976)(data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== “点击并拖拽以移动”)]

小结

结合阿里云 Kafka 产品，通过事件驱动触发服务（函数）执行，是不是简单又高效。这样我们利用 Knative 得以把云原生的能力充分释放出来，带给我们更多的想象空间。欢迎对 Knative 感兴趣的一起交流。

iPhone 11 Pro、卫衣、T恤等你来抽，马上来试试手气 https://www.aliyun.com/1111/2019/m-lottery?utm_content=g_1000083877

原文链接

本文为云栖社区原创内容，未经允许不得转载。

最新回复(0)