柚子快报邀请码778899分享：kafka系列--安装

http://yzkb.51969.com/

 

安装jdk略，zookeeper略 创建消息持久化目录 /mnt/hadoop/kafka/kafkaLogs 下载kafka wget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz tar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop 修改配置 config/ vi server.properties broker.id=0 一个节点一个号，顺序排列 delete.topic.enable=true  设置true,否则只是标记删除

 

auto.create.topics.enable=false  关闭自动创建topic

listeners=PLAINTEXT://0.0.0.0:9092

 

advertised.listeners=PLAINTEXT://ip:9092   监听地址，kafka-0.9以后,舍弃advertised.host.name log.dirs=/mnt/hadoop/kafka/kafkaLogs  消息持久化目录 zookeeper.connect=ip:2181  调zk集群 scp –r /mnt/hadoop/kafka  root@ip:/mnt/ hadoop/ 在其他节点上修改server.properties broker.id=1   数字依次排序 listeners=PLAINTEXT://0.0.0.0:9093

 

advertised.listeners=PLAINTEXT://ip:9093

开启kafka  进程名为kafka，在每个节点下运行

 

nohup bin/kafka-server-start.sh  -daemon config/server.properties & 停止kafka bin/kafka-server-stop.sh kafka常用操作命令： 查看当前服务器中的所有topic

 

bin/kafka-topics.sh --list --zookeeper  bigdata1:2181

 

创建topic ./kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 1 --partitions 3 --topic first

 

 

删除topic

 

sh bin/kafka-topics.sh --delete --zookeeper bigdata1:2181 --topic test 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

 

 

通过shell命令发送消息

 

kafka-console-producer.sh --broker-list bigdata1:9092 --topic itheima 通过shell消费消息

 

 

sh bin/kafka-console-consumer.sh --zookeeper bigdata1:2181 --from-beginning --topic test1

 

查看消费位置 sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper bigdata1:2181 --group testGroup

 

 

查看某个Topic的详情

sh kafka-topics.sh --topic test --describe --zookeeper bigdata1:2181单节点下的多个broker： 创建消息持久化目录 kafkaLogs-1 kafkaLogs-2 在config下复制 cp server.properties server-1.properties cp server.properties server-2.properties server-1.properties： listeners=PLAINTEXT://0.0.0.0:9093 advertised.listeners=PLAINTEXT://ip:9093 broker.id=0 log.dirs=/mnt/hadoop/kafka/kafkaLogs-1 server-2.properties： listeners=PLAINTEXT://0.0.0.0:9094 advertised.listeners=PLAINTEXT://ip:9094 broker.id=1 log.dirs=/mnt/hadoop/kafka/kafkaLogs-2 JMX_PORT=9997  /mnt/hadoop/kafka/bin/kafka-server-start.sh  -daemon /mnt/hadoop/kafka/config/server-1.properties & JMX_PORT=9998  /mnt/hadoop/kafka/bin/kafka-server-start.sh  -daemon /mnt/hadoop/kafka/config/server-2.properties &

柚子快报邀请码778899分享：kafka系列--安装

http://yzkb.51969.com/

推荐链接

评论可见，请评论后查看内容，谢谢！！！评论后请刷新页面。