JobPlus知识库 IT 大数据 文章
kafka环境安装
  1. 1.jdk,下载jdk,解压,配置环境变量,/etc/profile, JAVA_HOME是jdk的解压目录。 
    export JAVA_HOME=/opt/jdk1.8.0_171 
    export PATH=JAVAHOME/bin:JAVAHOME/bin:PATH 
    export CLASSPATH=$JAVA_HOME/lib 
    2.下载zookeeper,解压,修改配置文件,将/conf/zook_ample.cfg复制为conf/zoo.cfg 
    配置文件内容如下: 
    conf/zoo.cfg 
    tickTime=2000 
    initLimit=10 
    syncLimit=5 
    dataDir=/data/zk/data/zookeeper 
    dataLogDir=/data/zk/data/logs 
    clientPort=2181 
    maxClientCnxns=60 
    autopurge.snapRetainCount=3 
    autopurge.purgeInterval=1 
    server.1=zk01:2888:3888 
    server.2=zk02:2888:3888 
    server.3=zk03:2888:3888 
    参数说明: 
    server.id=host:port:port:表示了不同的zookeeper服务器的自身标识,作为集群的一部分,每一台服务器应该知道其他服务器的信息。用户可以从“server.id=host:port:port” 中读取到相关信息。在服务器的data(dataDir参数所指定的目录)下创建一个文件名为myid的文件,这个文件的内容只有一行,指定的是自身的id值。比如,服务器“1”应该在myid文件中写入“1”。这个id必须在集群环境中服务器标识中是唯一的,且大小在1~255之间。这一样配置中,zoo1代表第一台服务器的IP地址。第一个端口号(port)是从follower连接到leader机器的端口,第二个端口是用来进行leader选举时所用的端口。所以,在集群配置过程中有三个非常重要的端口:clientPort:2181、port:2888、port:3888。 
    默认端口为2181 
    在启动服务之前,还需要分别在zookeeper创建myid,方式如下: 
    echo 1 > /data/zk/data/zookeeper/myid 
    启动服务:/data/zk/bin/zkServer.sh start

3.安装kafka,默认为9092端口。grep -Ev “^#|^$” /data/kafka/config/server.properties 
broker.id=0 
delete.topic.enable=true 
listeners=PLAINTEXT://192.168.15.131:9092 
num.network.threads=3 
num.io.threads=8 
socket.send.buffer.bytes=102400 
socket.receive.buffer.bytes=102400 
socket.request.max.bytes=104857600 
log.dirs=/data/kafka/data 
num.partitions=1 
num.recovery.threads.per.data.dir=1 
offsets.topic.replication.factor=1 
transaction.state.log.replication.factor=1 
transaction.state.log.min.isr=1 
log.flush.interval.messages=10000 
log.flush.interval.ms=1000 
log.retention.hours=168 
log.retention.bytes=1073741824 
log.segment.bytes=1073741824 
log.retention.check.interval.ms=300000 
zookeeper.connect=192.168.15.131:2181,192.168.15.132:2181,192.168.15.133:2181 
zookeeper.connection.timeout.ms=6000 
group.initial.rebalance.delay.ms=0 
其他主机将该机器的kafka目录复制,然后修改broker.id、listeners地址, 
启动服务:/data/kafka/bin/kafka-server-start.sh /data/kafka/config/server.properties 
随便在其中一台主机 
/data/kafka/bin/kafka-topics.sh –create –zookeeper 192.168.15.131:2181,192.168.15.132:2181,192.168.15.133:2181 –replication-factor 1 –partitions 1 –topic test

在其他主机查看 
/data/kafka/bin/kafka-topics.sh –list –zookeeper 192.168.15.131:2181,192.168.15.132:2181,192.168.15.133:2181


如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

¥ 打赏支持
185人赞 举报
分享到
用户评价(0)

暂无评价,你也可以发布评价哦:)

扫码APP

扫描使用APP

扫码使用

扫描使用小程序