clickhouse笔记05--快速部署3节点集群
clickhouse笔记05--快速部署3节点集群
- 1 介绍
- 2 方法步骤
- 2.1 部署 zookeeper 集群
- 2.2 拉起 clickhouse 集群
- 2.3 测试集群
- 3 注意事项
- 4 说明
1 介绍
clickhouse笔记01–快速部署clickhouse 介绍了如何快速部署单节点clickhouse服务,本文基于该博文继续介绍如何快速部署3节点0副本的集群。
2 方法步骤
节点说明:
节点 | ip |
---|---|
ch01 | 192.168.2.31 |
ch02 | 192.168.2.32 |
ch03 | 192.168.2.33 |
2.1 部署 zookeeper 集群
- 安装java
下载并解压 jdk 到 /home/xg/soft/java/jdk-11.0.8,实际中按需调整位置即可 将 java 导入到环境变量中 $ vim .bashrc CLASSPATH=".:/home/xg/soft/java/jdk-11.0.8/lib" export JAVA_HOME=/home/xg/soft/java/jdk-11.0.8 export PATH=$PATH:$JAVA_HOME/bin 测试 java 是否正常安装 $ java --version java 11.0.8 2020-07-14 LTS Java(TM) SE Runtime Environment 18.9 (build 11.0.8+10-LTS) Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.8+10-LTS, mixed mode)
- 安装 zookeeper 集群
下载并解压zookeeper到 /home/xg/soft/apache-zookeeper-3.8.0-bin 目录,实际中按需调整位置即可 准备 zoo.cfg 配置,ch01 ch02 ch03 配置一样 $ vim ~/soft/apache-zookeeper-3.8.0-bin/conf/zoo.cfg tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181 initLimit=5 syncLimit=2 server.1=192.168.2.31:2888:3888 server.2=192.168.2.32:2888:3888 server.3=192.168.2.33:2888:3888 初始化节点id, 节点1、2、3的myid分别为1,2,3 $ mkdir /var/lib/zookeeper $ echo 1 > /var/lib/zookeeper/myid 启动集群 $ cd /home/xg/soft/apache-zookeeper-3.8.0-bin $ bin/zkServer.sh start &
2.2 拉起 clickhouse 集群
1 安装clickhouse:
参考 clickhouse笔记01–快速部署clickhouse -> 部署测试,在3个节点上分别安装clickhouse 单节点服务.
2 调整配置:
在3个节点上分别调整 clickhouse 的配置文件 /etc/clickhouse-server/config.xml , 主要包括 remote_servers 中的集群 xg_ck_cluster, zookeeper, macros
<remote_servers>
<xg_ck_cluster>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>192.168.2.31</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>192.168.2.32</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>192.168.2.33</host>
<port>9000</port>
</replica>
</shard>
</xg_ck_cluster>
</remote_servers>
<zookeeper>
<node index="1">
<host>192.168.2.31</host>
<port>2181</port>
</node>
<node index="2">
<host>192.168.2.32</host>
<port>2181</port>
</node>
<node index="3">
<host>192.168.2.33</host>
<port>2181</port>
</node>
</zookeeper>
<macros>
<shard>01</shard>
<replica>3node_0replica</replica>
</macros>
注意: 3个节点 macros->shard 中的值依次为01,02,03
3 拉起集群:
分别在3个节点上执行 clickhouse start 即可拉起集群
2.3 测试集群
打开终端,分别执行创建数据库,删除数据库,若成功即为集群已经正常搭建好了
$ clickhouse-client
xg 😃 create database test_log on cluster xg_ck_cluster
xg 😃 DROP database test_log on cluster xg_ck_cluster
3 注意事项
- 搭建 zookeeper 集群,三个节点myid 分别设置为1,2,3
- clickhouse 配置 macros->shard 中的值依次为01,02,03
4 说明
ClickHouse官方文档
clickhouse笔记01–快速部署clickhouse