hyman-海曼工具

一些简单的记录

0%

Consul集群搭建，配合nginx完成服务动态发现和健康检查

发表于 更新于 分类于

概述

介绍

consul是一个服务发现和配置共享的服务软件，结合nginx的主动健康检查模块nginx_upstream_check_module和服务发现模块nginx-upsync-module，实现一套服务动态发现机制。nginx的upstream不再通过手动配置，而是定时向consul发送请求，获取consul数据中心的配置文件，动态更新upstream地址池。

术语

consul：是一个支持多数据中心分布式高可用的服务发现和配置共享的服务软件

nginx_upstream_check_module：nginx主动健康检查模块

nginx-upsync-module：nginx服务发现模块

安装

nginx

nginx需要编译两个模块：
nginx_upstream_check_module：nginx主动健康检查模块

1
https://github.com/xiaokai-wang/nginx_upstream_check_module

nginx-upsync-module：nginx服务发现模块

1
https://github.com/weibocom/nginx-upsync-module
1
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --add-module=../nginx-upsync-module-master --add-module=/root/nginx-module-vts

consul

官网 https://www.consul.io

下载consul,linux 64位

下载解压即可，产生一个consul可执行文件。

./consul 列出一些常用指令。

consul启动

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
./consul agent -server –bootstrap-expect 1 –data-dir /tmp/consul –bind=172.16.2.30 –ui –client 0.0.0.0 &


server： 以server身份启动。

bootstrap-expect：集群要求的最少server数量，当低于这个数量，集群即失效。经测试，低于这个数量也不影响访问

data-dir：data存放的目录，更多信息请参阅consul数据同步机制

node：节点id，在同一集群不能重复。

bind：监听的ip地址。

client 客户端的ip地址

&  ：在后台运行，此为linux脚本语法

ui：启动webui，端口8500

访问ip:8500/

consul其它命令

关闭

1
./consul leave

查看成员

1
./consul members

启动consul集群

以上介绍的都是以单机模式启动，实战中consul多以集群模式存在，建议server节点数为3~5个。以下以3台为例，分别为ip1、ip2、ip3：

1
2
3
4
5
6
7
./consul agent -server -bootstrap-expect 2 -data-dir /tmp/consul -node=consul1 -bind=ip1 -ui -client=0.0.0.0 &

./consul agent -server -bootstrap-expect 2 -data-dir /tmp/consul -node=consul2 -bind=ip2 -join=ip1 -ui -client=0.0.0.0 &

./consul agent -server -bootstrap-expect 2 -data-dir /tmp/consul -node=consul3 -bind=ip3 -join=ip1 -ui -client=0.0.0.0 &

-join 加入一个集群

加入后端服务器(或可以在界面KEY/VALUE操作)

1
2
3
4
在任一节点上执行如下命令，即可添加2个key-value信息：
curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://172.16.2.30:8500/v1/kv/upstreams/test/172.16.2.31:80

curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://172.16.2.30:8500/v1/kv/upstreams/test/172.16.2.32:80

删除后端服务器(或可以在界面KEY/VALUE操作)

1
2
3
curl -X DELETE http://172.16.2.30:8500/v1/kv/upstreams/test/172.16.2.31:80

curl -X DELETE http://172.16.2.30:8500/v1/kv/upstreams/test/172.16.2.32:80

调整后端服务的参数(或可以在界面KEY/VALUE操作)

1
curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://172.16.2.30:8500/v1/kv/upstreams/test/172.16.2.31:80

使用

nginx&upstream配置

consul是针对nginx的upstream所做的一项改善，地址池不再需要手动配置，而是从consul的数据中心抓取。新的upstream配置如下：

1
2
3
4
5
6
7
8
9
upstream tomcat_http_server {
        server 127.0.0.1:11111;
        upsync 172.16.2.30:8500/v1/kv/upstreams/test upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
        upsync_dump_path /usr/local/nginx/conf/server/server_test.conf;
 
        check interval=1000 rise=2 fall=2 timeout=3000 type=http default_down=false;
        check_http_send "HEAD / HTTP/1.0\r\n\r\n";
        check_http_expect_alive http_2xx http_3xx;
}

server 127.0.0.1:11111是占位机器，这个配置必须要有不然校验配置文件不通过。

upsync配置语法：

upsync $consul/etcd.api.com:$port/v1/kv/upstreams/$upstream_name/ [upsync_type=consul/etcd] [upsync_interval=second/minutes] [upsync_timeout=second/minutes] [strong_dependency=off/on]

默认upsync_interval=5s upsync_timeout=6m strong_dependency=off

172.16.2.30:8500/v1/kv/upstreams/tomcat_http_server为同步地址；upsync_timeout同步超时时间；upsync_interval同步间隔；upsync_type同步类型，默认为consul；strong_dependency，配置为on时，每次启动或重启nginx，都会强制去consul拉一次upstream servers。

upsync_dump_path将拉取到的upstreams地址池写入一个文件；

此处想要多说两句，即使consul中途挂掉，nginx仍然可以从upsync_dump_path配置的文件中取到数据，继续分发流量，只是此时upstream池变为静态了，跟之前的情形一样，启停重启nginx等操作并没有问题。所以consul单节点配置中心的可用性也是很高的。

check代表健康检查；interval检查间隔，单位为毫秒；rise成功该次数后，标记为up；fall失败该次数后，标记为down；timeout；type包括tcp、ssl_hello、http、mysql、ajp、fastcgi；default_down设置后端server的初始状态；

默认配置interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp

check_http_send 健康检查发送的请求包；

check_http_expect_alive 这些状态代表后端server是活着的；

查询健康检查状态

健康检查模块提供了一个接口check_status，用于检查consul数据中心配置的所有server的健康检查状态。需要在nginx稍作配置：

在80端口下，配置nstatus的接口：

1
2
3
4
location /nstatus {
        check_status;
        access_log off;
}