桥接数据到Kafka

EMQX 企业版技术支持发表于:2022年05月09日 14:40:36

桥接数据到 Kafka

搭建 Kafka 环境,以 Docker为例:

## 由于kafka是需要和zookeeper共同工作的,所以需要部署一个zookeeper,但有了docker这对部署来说非常轻松.
docker run -d --name zookeeper -p 2181:2181  wurstmeister/zookeeper

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.17.0.13:2181 --link zookeeper -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.17.0.14:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

##首先,进入到kafka的docker容器中
docker exec -it kafka sh

##创建 Kafka 的主题:
kafka-topics.sh --zookeeper 172.17.0.13:2181 --replication-factor 1 --partitions 1 --topic testTopic --create

提示:创建 Kafka Rule 之前必须先在 Kafka 中创建好主题,否则创建 Kafka Rule 失败。 :::

创建规则:

打开 EMQX Dashboard,选择左侧的 “规则” 选项卡。

填写规则 SQL:

SELECT * FROM "t/#"

image.png

关联动作:

在 “响应动作” 界面选择 “添加”,然后在 “动作” 下拉框里选择 “桥接数据到 Kafka”。

image.png

填写动作参数:

“保存数据到 Kafka 动作需要两个参数:

1). Kafka 的消息主题

2). 关联资源。现在资源下拉框为空,可以点击右上角的 “新建资源” 来创建一个 Kafka 资源:

image.png

选择 Kafka 资源”。

填写资源配置:

填写真实的 Kafka 服务器地址,多个地址用,分隔,其他配置保持默认值,然后点击 “测试连接” 按钮,确保连接测试成功。

最后点击 “新建” 按钮。

image.png

返回响应动作界面,点击 “确认”。

image.png

返回规则创建界面,点击 “新建”。

image.png

规则已经创建完成,现在发一条数据:

Topic: "t/1"

QoS: 0

Payload: "hello"

然后通过 Kafka 命令去查看消息是否生产成功:

$ ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092  --topic testTopic --from-beginning

image.png

在规则列表里,可以看到刚才创建的规则的命中次数已经增加了 1:

image.png


    您需要登录后才可以回复