3

仅启用出口网络策略时，重新启动 Pod 后，所有就绪性和活动性检查都会失败。

这是我在描述 pod 时看到的：

警告 Unhealthy 115s (x7 over 2m55s) kubelet, Readiness probe failed: Get http://10.202.158.105:80/health/ready : dial tcp 10.202.158.105:80: connect: connection denied 警告 Unhealthy 115s (x7 over 2m55s) kubelet , Liveness probe failed: Get http://10.202.158.105:80/health/live : dial tcp 10.202.158.105:80: connect: connection denied

如果我禁用这些策略，健康检查将立即恢复运行。如果 pod 在应用网络策略之前已经健康，它将继续工作。

我还尝试使用此策略将每个命名空间列入白名单：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-ingress-all
spec:
  podSelector: {}
  policyTypes:
  - Ingress
  ingress:
  - from:
    - namespaceSelector: {}
    ports:
    - protocol: TCP
      port: 80
    - protocol: TCP
      port: 8080

我很难找到有关如何解决此问题的任何指导。是否需要启用出口策略以允许 kubelet 监控 pod 的健康检查？

pod 在 Azure Kubernetes 服务中运行并使用 Calico 网络。

4

1 回答 1

3

看起来 kube-probe 使用AKS中每个pod cidr的 .1 地址。我相信这将是 linux 网桥在代理池 VM 上分配的地址，因此主机选择它作为到 pod 的最便宜的路由。

没有具有此地址的 pod，因此我看不到选择器如何匹配它，除非 AKS 在其实现中内置了一些魔法。

kubectl get pods --all-namespaces -o json \
  | jq -r '.items[] | [ .status.podIP, .metadata.name ] | join("\t")'

可以使该策略与.1所有 pod CIDR 的源 IP 的特定规则一起使用。

kubectl get nodes -o json \
  | jq '.items[] | [ .metadata.name, .spec.podCIDR ]'
[
  "aks-agentpool-12345678-vmss000000",
  "10.212.0.0/24"
]
[
  "aks-agentpool-12345678-vmss000001",
  "10.212.1.0/24"
]

所以这ipBlock对于每个节点都是一个：

  ingress:
  - from:
    - ipBlock:
        cidr: 10.212.0.1/32
    - ipBlock:
        cidr: 10.212.1.1/32

这有点可怕，因为它是每个集群和每个节点池配置。我只涉足 AKS，所以可能有更好的解决方案。如果您找不到其他任何东西，我会在https://github.com/Azure/AKS/上提交错误

于 2020-10-15T23:28:54.017 回答