开源的nginx自带的针对后端节点健康检查功能是比较简单的被动健康检查方式，通过默认自带的ngx_http_proxy_module模块和ngx_http_upstream_module模块中的相关指令来完成当后端节点。若出现故障时，当nginx将请求发给后端服务后，在满足配置的健康检查请求失败次数后，自动切换到健康节点来提供访问。这种被动的方式无法满足高质量访问要求的服务需求。因此，Taobao团队基于Tengine开发出主动后端服务健康检查模块ngx_http_upstream_check_module

ngx_http_upstream_check_module：提供主动式后端服务器健康检查的功能。官方文档

配置

Tengine配置示例（带注释即为添加的ngx_http_upstream_check_module配置项）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
server {
  listen 8080;
  location / {
        proxy_pass http://test-domain/;
        access_log  /var/log/nginx/test-domain_http_access.log  main;
  }

  location /upstream_status {       # 配置显示后端服务器的健康状态页面(此配置全局生效，不需要在其他虚拟域名下重复配置)
        check_status;
        access_log   off;
  }
}

upstream test-domain {
   ip_hash;
   server 192.168.1.36:5000;
   server 192.168.1.46:5000;

   check interval=2000 rise=2 fall=3 timeout=1000 type=http;    # 打开后端服务器的健康检查功能，配置健康检查参数
   check_http_send "GET /ping HTTP/1.0\r\n\r\n";    # 配置http健康检查包发送的请求内容。为了减少传输数据量，推荐采用"HEAD"方法
   check_http_expect_alive http_2xx http_3xx;   # 指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的。
   #check_keepalive_requests 100;   # 配置一个连接发送的请求数，其默认值为1，表示Tengine完成1次请求后即关闭连接，若是长连接建议配置大些
   #check_shm_size 1M;  # 所有的后端服务器健康检查状态都存于共享内存中，该指令可以设置共享内存的大小。默认是1M
}

重要参数解析

check

语法: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]

默认值: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp

配置区域: upstream

指令后面的参数意义是：

  • interval：向后端发送的健康检查包的间隔。
  • fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。
  • rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。
  • timeout: 后端健康请求的超时时间。
  • default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。
  • type：健康检查包的类型，现在支持以下多种类型
  • tcp：简单的tcp连接，如果连接成功，就说明后端正常。
  • ssl_hello：发送一个初始的SSL hello包并接受服务器的SSL hello包。
  • http：发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。
  • mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。
  • ajp：向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。
  • port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。默认是0，表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。

check_http_send

语法: check_http_send http_packet

默认值: “GET / HTTP/1.0\r\n\r\n”

配置区域: upstream

默认采用短连接方式，当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：“HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。
同时，在采用"GET"方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。

重要提示：当后端服务的HTTP协议版本为HTTP/1.1时，必须在请求头指定Host: foo.bar.com，否则健康检查会报check protocol http error with peer的错误而导致后端节点被下线，配置示例（长连接同理）：

1
check_http_send "HEAD / HTTP/1.0\r\nHost: test-domain.cm-iov.com\r\n\r\n";

查看状态页面

访问指定域名的URL链接：http://domain.com:8080/upstream_status 即可看到后端页面的健康状态