0

我们在由 keepalived 平衡的两台非生产服务器上运行 haproxy 以管理故障转移。

我们最近从 haproxy 1.5 升级到了 2.0.3。在我们的非生产环境中，我们从来没有 HA 解决方案，因此我们决定运行 keepalived 来检测 haproxy 故障/停止并将 VIP 应用到备份服务器。

当我们应用这些更新时，一切都运行良好......直到我们注意到在 lb 中添加了新站点。当重新启动 keepalived（未重新加载）并且在 lb 后面有新站点时，新站点似乎运行良好在不确定的时间内......然后他们开始返回“err_empty_response”。似乎没有什么可以解决这个问题，直到重新启动keepalived，然后它们再次工作一段不确定的时间，然后它们将开始返回“err_empty_response”。

该站点仍标记在统计信息页面中。

痛苦的部分是调用停止进入 haproxy.log 文件，这导致我认为问题不（只是）haproxy。

我们尝试过的：

  • 在 keepalived.conf 中将每个环境拆分为自己的虚拟接口
  • 将后端服务器上的 api 绑定更新到工作 api（以消除 api 代码作为选项）
  • 使用缩短的 url 创建新绑定
  • 减少超时（客户端、服务器）

keepalived.conf：

`! Configuration File for keepalived

global_defs {
   notification_email {
     test@blah.com
   }
   notification_email_from keepalived@blah.com
   smtp_server blah.mail.protection.outlook.com.
   smtp_connect_timeout 30
   router_id LVS_NONPROD
}

# Script used to check if HAProxy is running
vrrp_script check_haproxy {
  script "pidof haproxy"
  interval 2
  weight 2
}

vrrp_instance VI_DEV {
  state MASTER
  interface ens160
  virtual_router_id 52
  priority 101
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress {
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
  }

  track_script {
    check_haproxy
  }

}

vrrp_instance VI_TEST {
  state MASTER
  interface ens160
  virtual_router_id 53
  priority 101
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress {
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
  }

  track_script {
    check_haproxy
  }

}

vrrp_instance VI_UAT {
  state MASTER
  interface ens160
  virtual_router_id 54
  priority 101
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress {
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
  }

  track_script {
    check_haproxy
  }

}

vrrp_instance VI_STAGING {
  state MASTER
  interface ens160
  virtual_router_id 55
  priority 101
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress {
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
  }

  track_script {
    check_haproxy
  }

}

vrrp_instance VI_SS {
  state MASTER
  interface ens160
  virtual_router_id 56
  priority 101
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress {
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
    xxx.xxx.xxx.xxx
  }

  track_script {
    check_haproxy
  }

}

vrrp_instance VI_NS {
  state MASTER
  interface ens160
  virtual_router_id 57
  priority 101
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress {
    xxx.xxx.xxx.xxx
  }

  track_script {
    check_haproxy
  }

}`

haproxy 全局变量：

`global
# to have these messages end up in /var/log/haproxy.log you will
# need to:
#
# 1) configure syslog to accept network log events.  This is done
#    by adding the '-r' option to the SYSLOGD_OPTIONS in
#    /etc/sysconfig/syslog
#
# 2) configure local2 events to go to the /var/log/haproxy.log
#   file. A line like the following can be added to
#   /etc/sysconfig/syslog
#
#    local2.*                       /var/log/haproxy.log
#
log         127.0.0.1 local2 debug

tune.chksize 32768 #don't get me started...dev requirement because of antiquated requirement not coded away
tune.bufsize 32768 #refer to previous statement
tune.ssl.default-dh-param 2048
max-spread-checks 20000
tune.maxpollevents 10000

chroot      /var/lib/haproxy
pidfile     /var/run/haproxy.pid
maxconn     40000
user        haproxy
group       haproxy
daemon

# turn on stats unix socket
stats socket /var/lib/haproxy/stats`

默认值：

`defaults
mode                    http
log                     global
option                  httplog
option                  log-health-checks
option                  dontlognull
option                  http-server-close
option                  redispatch
retries                 3
timeout http-request    10s
timeout queue           60000
timeout connect         10s
timeout client          60000
timeout server          60000
timeout http-keep-alive 30s
timeout check           30s
maxconn                 30000
errorfile 503 /etc/haproxy/errorfiles/503.http`
4

1 回答 1

1

答案有点傻。负载均衡器的内部 DNS 不正确，因此在网站抛出这些错误期间，我尝试通过 ssh 连接到机器之前，无法远程处理它。原来，旧的负载均衡器将 IP 地址作为网络脚本的一部分（即 /etc/sysconfig/network-scripts/ifcfg-eth0:0-20）。

因此，当我重新启动 keepalived 时，新实例将起作用，因为它会获取 IP 地址，而旧实例会将它们取回（随后导致失败，因为旧实例中没有条目）。

我在旧实例上停止了 haproxy，从旧服务器中删除了 /etc/sysconfig/network-scripts/ifcfg-eth0:* 文件，在新集群上重新启动了 keepalived，一切正常。

现在感觉有点傻。

于 2019-10-21T12:31:50.680 回答