docker 安装 kafka | ksqlDB

    拉取镜像

    更多版本请参见 https://hub.docker.com/r/wurstmeister/kafka/tags

    docker pull wurstmeister/kafka:1.1.0

    启动

    docker run -d --restart=always --network host --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.45.18.235:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.45.18.235:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka:1.1.0

    参数说明：
    -e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己

    -e KAFKA_ZOOKEEPER_CONNECT=192.168.124.28:2181/kafka 配置zookeeper管理kafka的路径10.45.18.235:2181/kafka

    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.45.18.235:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。

    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口

    -v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

    演示

    发送消息

    --broker-list 当前 kafka 服务

    --topic kafka 主题

    docker exec -it kafka /opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    发送消息

    >1
>2
>3
>4
>5
>6
>7
>8
>9

    接收消息

    --bootstrap-server 当前 kafka 服务

    --topic kafka 主题

    --from-beginning 从开始记录

    docker exec -it kafka /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server  localhost:9092 --topic test --from-beginning

    1
2
3
4
5
6
7
8
9

    参考

    作者：欧阳俊
    链接：https://juejin.cn/post/6960820341631352868
    来源：稀土掘金
    著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

    安装 ksqlDB

    see https://ksqldb.io/quickstart.html#quickstart-content

    拉取镜像

    docker pull confluentinc/ksqldb-server:0.27.1
docker pull confluentinc/ksqldb-cli:0.27.1

    启动 ksqldb-server

    docker run -d --restart=always --network host --name ksqldb-server -e KSQL_LISTENERS=http://0.0.0.0:8088  -e KSQL_BOOTSTRAP_SERVERS=10.45.18.235:9092 -e KSQL_KSQL_LOGGING_PROCESSING_STREAM_AUTO_CREATE=true  -e KSQL_KSQL_LOGGING_PROCESSING_TOPIC_AUTO_CREATE=true confluentinc/ksqldb-server:0.27.1

    启动 ksqldb-cli

    docker run --restart=always --network host --name ksqldb-cli -d  confluentinc/ksqldb-cli:0.27.1 /bin/sh -c "while true; do echo 1; sleep 100000; done;"

    使用 ksqldb-cli

    docker exec -it ksqldb-cli ksql http://10.45.18.235:8088 

    ➜  ~ docker exec -it ksqldb-cli ksql http://10.45.18.235:8088                                                                                    
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
                  
                  ===========================================
                  =       _              _ ____  ____       =
                  =      | | _____  __ _| |  _ \| __ )      =
                  =      | |/ / __|/ _` | | | | |  _ \      =
                  =      |   <\__ \ (_| | | |_| | |_) |     =
                  =      |_|\_\___/\__, |_|____/|____/      =
                  =                   |_|                   =
                  =        The Database purpose-built       =
                  =        for stream processing apps       =
                  ===========================================

Copyright 2017-2022 Confluent Inc.

CLI v0.27.1, Server v0.27.1 located at http://10.45.18.235:8088
Server Status: RUNNING

Having trouble? Type 'help' (case-insensitive) for a rundown of how things work!

ksql>

    评论栏