Zookeeper 是 一个分布式。开放源码的分布式应用程序协调服务,是Google Chubby的一个开源实现,大多数的分布式应用都需要Zookeeper的支持,这篇文章先简单的和大家分享如何搭建一个zookeeper集群。(笔者注:Chubby是一个lock service,通过这个lock service可以解决分布式中的一致性问题。为这个lock service的实现是一个分布式的文件系统)。
准备环境: 至少3 台 linux server(笔者的是redhat版本的cloud server)
第一步: 安装 JDK/JRE
第二步:下载zookeeper : http://zookeeper.apache.org/releases.html
第三步:上传安装包到服务器(可以通过WinSCP等)
第四步:使用 "tar -xzvf zookeeper-3.4.6.tar.gz "来 解压安装包 :
解压后的目录结构:
第五步:修改zookeeper配置文件(集群和数据目录的配置)
使用“cp zoo_sample.cfg zoo.cfg”来创建一个zookeeper配置文件,在zoo.cfg中配置syncLimit,dataDir,clientPort,autopurge.purgeInterval,以及集群的server list:
第六步:通过“scp -r ”把配置好的zookeeper目录copy到其他两台server上:
第七步:在配置集群的server中,分别找到zoo.cfg配置的dataDir目录,在目录下面添加一个“myid”的文件,把zoo.cfg配置的server list中的id值写入并保存:
第八步:分别启动三台zookeeper,并检查集群状态:
使用“sudo ./bin/zkServer.sh start” 启动zookeeper, 使用“sudo ./bin/zkServer.sh status”检查集群状态
server1:
server2:
server3:
mode显示了所在server在集群中所扮演的角色,每个server的角色不是固定的,leader是通过zookeeper的Fast Leader 选举算法产生,三台zookeeper集群就这么搭建好了,大家可以根据自己实际的项目需要再做一些详细的配置。
相关推荐
centos7下Redis哨兵集群和kafka集群和zookeeper集群搭建 http://blog.csdn.net/gaowenhui2008/article/details/71516901 https://cwiki.apache.org/confluence/display/KAFKA/Clients
zookeeper集群搭建,手把手教你搭建zookeeper集群以及添加开机自启动服务 访问官网: zookeeper.apache.org
一. Zookeeper集群搭建部署 二. apache-storm集群搭建部署 三. Kafka集群搭建部署 安装部署过程均图文并茂,简单易懂,实际按步骤操作即可。
一、单机环境搭建# 1.1 下载# 下载对应版本 Zookeeper,这里我下载的版本 3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/ # wget ...
Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget ...
Hadoop 分布式集群搭建 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,...
hbase-2.1.3-bin.tar.gz,hadoop-3.1.2.tar.gz,hadoop-2.7.4.tar.gz,flink-1.7.2-bin-hadoop27-scala_2.11.tgz,apache-hive-3.1.1-bin.tar.gz,apache-hive-2.3.5-bin.tar.gz,以及一些推荐的集群搭建配置文件,...
包括了:Hadoop2.7.3、Spark2.0、Zookeeper3.4.8、Hive、Hbase、Kafka2.10、Flume的环境搭建
顾名思义zookeeper就是动物园管理员,他是用来管hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员, Apache Hbase和 Apache Solr 的分布式集群都用到了zookeeper;Zookeeper:是一个分布式的、开源的程序协调服务,是...
压缩包下载地址:http://mirror.bit.edu.cn/apache/zookeeper/ 这里多说一句,附上两种导入文件的方法: 第一种(文件太大时最好别用): 安装上传下载文件组件:yum install lrzsz 上传下载文件:rz -be 第二种...
亲手在Centos7上安装,所用软件列表 apache-flume-1.8.0-bin.tar.gz apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar.gz ...zookeeper-3.4.11.tar.gz
Zookeeper官网 http://zookeeper.apache.org/ 我所使用的版本是 zookeeper-3.4.5-cdh5.15.1 CDH版下载地址为 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.15.1.tar.gz 注意:...
当前环境: centos6.5,jdk8 准备工作: 1.服务器之间免密登录 ...3.安装zookeeper集群 搭建步骤: 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,高扩展,高效性,高容错等...
使用 UOS 统信服务器操作系统为搭建环境,以至少三台服务器为基础进行部署,Master 服务器部署 Numbus 主节点,用于响应分布在集群中的节点,分配任务和监测故障。Slave 服务器部署 Supervisor 工作节点用于收听工作...
http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz Windows下安装 把下载的zookeeper的文件解压到指定目录 C:\ZK\zookeeper-3.4.14> 修改conf下增加一个zoo.cfg 内容如下: # ...
而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
由于资源大小限制,本资源只包含hadoop+hbase+kafka+zookeeper+apache-flume,本资源用来实践尚硅谷教程的《电信客服》项目是够用的,个人实践有效
流处理作为一种大数据处理技术,能够为用户提供连续的数据流,以避免数据的价值因为时间的流逝而失效。其价值观同时也完美匹配IOT模型。主要介绍了如何搭建基本的流处理服务器集群,以及一个简单的使用示例。