Kafka-manager部署与测试(完整) 推荐 原创 KaliArch 2017-06-12 21:01:53 博主文章分类:Linux ©著作权 文章标签 部署 manager Kafka 文章分类 服务器 ©著作权归作者所有:来自51CTO博客作者KaliArch的原创作品,请联系作者获取转载授权,否则将追究法律责任 Kafka-manager部署一、概念 概念百度了一下,可以根据相关资料进行理解。1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。BrokerKafka集群包含一个或多个服务器,这种服务器被称为broker。 Topic每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)PartitionPartition是物理上的概念,每个Topic包含一个或多个Partition.Producer负责发布消息到Kafka brokerConsumer消息消费者,向Kafka broker读取消息的客户端。Consumer Group每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)。1.2 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的基本运转流程:1、选举Leader。2、同步数据。3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。4、Leader要具有最高的执行ID,类似root权限。5、集群中大多数的机器得到响应并follow选出的Leader。1.3 kafka-manager为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:1.管理多个kafka集群2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)3.选择你要运行的副本4.基于当前分区状况进行5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)8.为已存在的topic增加分区9.为已存在的topic更新配置10.在多个topic上批量重分区11.在多个topic上批量重分区(可选partition broker位置)kafka-manager 项目地址:https://github.com/yahoo/kafka-manager二、部署2.1 初始化环境初始化系统,关闭防火墙修改主机名与ip名称名称HOSTNAMEIP1kafka-1172.17.10.2072kafka-2172.17.10.2083kafka-3172.17.10.2092.2 java安装yum install -y java-1.8.0-openjdk2.3 安装zookeeper(三台都装)cd /usr/local wget http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz tar zxf zookeeper-3.4.9.tar.gz mv zookeeper-3.4.9 zookeeper cd zookeeper/conf cp zoo_sample.cfg zoo.cfg编辑zoo.cfgtickTime=2000 #服务之间或者客户端与服务段之间心跳时间 initLimit=10 #Follower启动过程中,从Leader同步所有最新数据的时间 syncLimit=5 #Leader与集群之间的通信时间 dataDir=/usr/local/zookeeper/data #zookeeper存储数据 datalogDir=/usr/local/zookeeper/logs #zookeeper存储数据的日志 clientPort=2181 #zookeeper默认端口 #集群配置信息 server.1=172.17.10.207:2888:3888 server.2=172.17.10.208:2888:3888 server.3=172.17.10.209:2888:3888server.1 这个1是服务器的标识也可以是其他的数字, 表示这个是第几号服务器,用来标识服务器,这个标识要写到快照目录下面myid文件里#172.17.10.207为集群里的IP地址,第一个端口是master和slave之间的通信端口,默认是2888,第二个端口是leader选举的端口,集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888完整配置cd /usr/local/zookeeper mkdir data logs #创建数据与日志文件夹 cd data echo “1”>myid #第2 台zookeeper服务器就echo 2 /usr/local/zookeeper/bin/zkServer.sh start #启动/usr/local/zookeeper/bin/zkServer.sh status #查看状态2.4 安装kafka(三台都装)wget http://apache.fayea.com/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz tar zxf kafka_2.11-0.10.0.0.tgz mv kafka_2.11-0.10.0.0/ kafka cd kafka/config编辑 server.propertiesbroker.id=1 #kafka集群标识,不能相同,第一台是1以此类推,其他都一样。 log.dirs=/usr/local/kafka-logs host.name=172.17.10.184 #主机ip zookeeper.cOnnect=172.17.10.185:2181,172.17.10.184:2181,172.17.10.183:2181 mkdir /usr/local/kafka/kafka-logs /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & #启动kafka查看是否启动成功netstat -ntpl|grep 90922.4 安装kafka-managergit clone https://github.com/yahoo/kafka-manager cd kafka-manager sbt clean distcd #过程比较长得到文件kafka-manager-1.3.0.8.zipunzip kafka-manager-1.3.0.8.zip -d /usr/local cd /usr/local/kafka-manager-1.3.0.8 修改配置 conf/application.properties # 如果zk是集群,这里填写多个zk地址 kafka-manager.zkhosts="172.17.10.185:2181,172.17.10.184:2181,172.17.10.183:2181"启动kafka-manager 默认的端口是9000,可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件: nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &浏览器访问三、测试对Kafka进行测试。分别创建topic,producer,consumer,最好是在不同的节点上创建。在producer的控制台上输入信息,观察consumer控制台是否能够接收到。3.1 创建topic./kafka-topics.sh --create --zookeeper 172.17.10.207:2181,172.17.10.208:2181,172.17.10.209:2181 --replication-factor 3 --partitions 3 --topic xuel--replication-factor 指定partition的replicas数,建议设置为2;--partitions 指定分区数,这个参数需要根据broker数和数据量决定,正常情况下,每个broker上两个partition最好; --topic xuel 主题为xuel3.2 查看topic./kafka-topics.sh --describe --zookeeper 172.17.10.207:2181,172.17.10.208:2181,172.17.10.209:2181 --topic xuel通过web界面创建topic-{1-4}3.3 删除topic./kafka-topics.sh --delete --zookeeper 172.17.10.207:2181,172.17.10.208:2181,172.17.10.209:2181 --topic xuel3.4 创建发布者在一台服务器上创建一个发布者(发布者发送消息)创建broker./kafka-console-producer.sh --broker-list 172.17.10.173:9092,172.17.10.172:9092,172.17.10.171:9092,172.17.10.170:9092 --topic xuel3.5 创建消费者在一台服务器上创建一个订阅者(订阅者接受消息)./kafka-console-consumer.sh --zookeeper 172.17.10.173:2181,172.17.10.172:2181,172.17.10.171:2181,172.17.10.170:2181 --from-beginning --topic xuel3.6 通过web界面查看 赞 收藏 评论 分享 举报 上一篇:脚本监控网络状态,输出日志并归档(V2) 下一篇:Centos7_ELK5.4.1配置部署 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 CDC-Debezium-docker部署oracle kafka connector整套环境 〇、相关资料1、1.9.7 源码分析&代码走通Debezium-oracle-connector 1.9.7 源码分析_java debezium oracle-博客2、springboot整合Debeziumspringboot整合Debezium监控Oracle数据库-博客3、性能探索实践&压测Debezium实现Oracle数据库同步到Kafka性能探索实践 oracle debezium docker Azure Update Manager简介 Azure 更新管理器不仅仅是一个管理更新的工具;它是一个全面的解决方案,旨在帮助组织维护其系统的完整性、安全性和性能。对于致力于在不断发展的数字世界中实现卓越运营和合规性的企业来说,这是一项必不可少的服务 Azure Windows 补丁更新 安全 AWS Secrets Manager 实战指南 AWS Secrets Manager 是一项强大的服务,用于安全地管理和存储敏感信息,如数据库凭证、API 密钥等。本实战指南将指导你如何在实际应用中使用 AWS Secrets Manager。创建 Secret首先,我们需要在 Secrets Manager 中创建一个新的 Secret 来存储敏感信息。登录 AWS 控制台,选择 "Security, Identity, & Com AWS Secret kafka-manager部署 nohup /src/kafka-manager-2.0.0.2/bin/kafka-manager -Dconfig.file=/src/kafka-manager-2.0.0.2/conf/application.conf -Dhttp.port=9000 > kafka-manager.log 2>&1 & kafka Kafka-manager部署与使用简单介绍 Kafka-manager部署与使用简单介绍 kafka zookeeper java docker 离线部署kafka kafka-manager ## Docker离线部署Kafka和Kafka Manager教程作为一名经验丰富的开发者,我将为你介绍如何使用Docker离线部署Kafka和Kafka Manager。下面是整个部署的流程:| 步骤 | 操作 || ------ | ------ || 第一步 | 下载Kafka和Kafka Manager的Docker镜像 || 第二步 | 创建Kafka容器 || 第三步 kafka Docker docker KAFKA-MANAGER安装 参考文档:https://github.com/yahoo/kafka-manager 一、下载源码下载链接: https://github.com/yahoo/kafka-manager/releases下载源码到/opt目录ls /optkafka-manager-master二、修改配置文件cd /opt/kafka-manager-master/conf/ kafka manager 安装Kafka-manager 最近平台部署了Kafka集群,为了方便管理于是安装了yahoo开源的一款基于web的管理工具 kafka kafka manager Kafka整合kafka-manager搭建 kafka-manager简介kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的 kafka 安装包 上传 dockerdesktop安装kafka-manager # Docker Desktop安装Kafka Manager教程你好,我是一名经验丰富的开发者,很高兴能够帮助你安装Kafka Manager。在接下来的教程中,我将向你展示如何使用Docker Desktop来安装Kafka Manager。## 整体流程首先,让我们来看一下整个安装过程的流程。下表展示了每个步骤以及需要执行的操作。| 步骤 | 操作 || ---- | -- Docker Desktop kafka kafka-manager docker安装 # Kafka-Manager Docker安装教程## 1. 安装Docker和Docker Compose在开始安装Kafka-Manager之前,我们需要先安装Docker和Docker Compose。Docker是一个开源的容器化平台,而Docker Compose是Docker官方提供的用于定义和运行容器化应用的工具。请按照以下步骤安装Docker和Docker Compos Docker docker zookeeper kafka-manager启动方式 我是使用下面这种方式启动kafka-managernohup /opt/kafka-manager-2.0.0.0/bin/kafka-manager -Dconfig.file=/opt/kafka-manager- kafka 大数据 linux 文件描述符 重定向 docker kafka-manager安装 连接kafka # Docker Kafka-Manager 安装与连接 Kafka## 引言在本文中,我将向您介绍如何在 Docker 中安装 Kafka-Manager,并与 Kafka 进行连接。Kafka-Manager 是一个用于管理和监控 Kafka 集群的工具,它提供了一个用户友好的界面来查看和管理 Kafka 的主题、消费者组等。如果您是一名刚入行的开发者,并且对 Docker 和 K Docker kafka zookeeper 部署Kafka集群管理工具kafka-manager/CMAK kafka-manager kafka [Kafka 基础]-- 安装 kafka-manager 监控 一、Kafka 监控工具介绍 目前还没有一款公认比较优秀的 Kafka 监控工具,各有各的好,我们可以针对自己需要去选择,但是如果你 Kafka-manager 监控 kafka github 可执行 kafka-manager的安装使用 前言 项目中用到kafka集群,需要监控kafka中数据,管理工具此处选择kafka-manager,以下为安装过程 1、下载好用sbt编译好的kafka-manager包并解压(编译过程不再赘述) **编译好的包下载地址 链接:https://pan.baidu.com/s/1ejwB2E7QtW kafka 安装过程 下载地址 计算机 kafka-manager 2.0.0.2 编译版本 kafka-manager 2.0.0.2 编译版本 kafka-manager docker 离线安装kafka-manager # Docker离线安装Kafka Manager## 简介Docker是一种开源的容器化平台,可以快速部署、运行和管理应用程序。Kafka Manager是一个用于管理Apache Kafka集群的工具。本文将教你如何使用Docker离线安装Kafka Manager。## 步骤| 步骤 | 描述 || ---- | ---- || 1 | 下载Kafka Manager Do Docker kafka 离线安装 kafka管理器kafka-manager部署安装 运行的环境要求Kafka 0.8.1.1+sbt 0.13.xJava 7+功能为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分... kafka git 管理工具 编译打包 web工具 kafka-manager配置和使用 kafka-manager配置 最主要配置就是用于kafka管理器状态的zookeeper主机。这可以在conf目录中的application.conf文件中找到。 当然也可以声明为zookeeper集群。 另外也可以通过环境变量ZK_HOSTS来表示。 自定义kafka-manager功能,类似于 kafka zookeeper java oracle 权限管理