4

我正在使用 Google 的 Container Engine 服务,并且有一个运行服务器的 pod 监听端口 3000。我设置服务以将端口 80 连接到该 pod 的端口 3000。我能够使用其本地和公共 ip 卷曲服务在节点内,而不是从外部。我设置了一个防火墙规则以允许端口 80 并将其发送到节点,但我不断收到来自网络外部的“连接被拒绝”。我正在尝试在没有转发规则的情况下执行此操作,因为只有一个 pod,而且看起来转发规则需要花钱并进行负载平衡。我认为防火墙规则有效,因为当我将其添加createExternalLoadBalancer: true到服务规范时,转发规则创建的外部 IP 会按预期工作。我需要做其他事情吗?设置路线之类的?

控制器.yaml

kind: ReplicationController
apiVersion: v1beta3
metadata:
    name: app-frontend
    labels:
        name: app-frontend
        app: app
        role: frontend
spec:
    replicas: 1
    selector:
        name: app-frontend
    template:
        metadata:
            labels:
                name: app-frontend
                app: app
                role: frontend
        spec:
            containers:
                - name: node-frontend
                  image: gcr.io/project_id/app-frontend
                  ports:
                    - name: app-frontend-port
                      containerPort: 3000
                      targetPort: 3000
                      protocol: TCP

服务.yaml

kind: Service
apiVersion: v1beta3
metadata:
  name: app-frontend-service
  labels:
    name: app-frontend-service
    app: app
    role: frontend
spec:
  ports:
    - port: 80
      targetPort: app-frontend-port
      protocol: TCP
  publicIPs:
   - 123.45.67.89
  selector:
    name: app-frontend

编辑(其他详细信息): 创建此服务会添加这些附加规则,在我运行时发现iptables -L -t nat

Chain KUBE-PORTALS-CONTAINER (1 references)
target     prot opt source               destination         
REDIRECT   tcp  --  anywhere             10.247.247.206       /* default/app-frontend-service: */ tcp dpt:http redir ports 56859
REDIRECT   tcp  --  anywhere             89.67.45.123.bc.googleusercontent.com  /* default/app-frontend-service: */ tcp dpt:http redir ports 56859
Chain KUBE-PORTALS-HOST (1 references)
target     prot opt source               destination         
DNAT       tcp  --  anywhere             10.247.247.206       /* default/app-frontend-service: */ tcp dpt:http to:10.241.69.28:56859
DNAT       tcp  --  anywhere             89.67.45.123.bc.googleusercontent.com  /* default/app-frontend-service: */ tcp dpt:http to:10.241.69.28:56859

我不完全了解 iptables,所以我不确定目标端口如何匹配我的服务。我发现 DNS89.67.45.123.bc.googleusercontent.com解析为123.45.67.89.

kubectl get services 显示我指定的 IP 地址和端口:

NAME                             IP(S)               PORT(S)
app-frontend-service             10.247.243.151      80/TCP
                                 123.45.67.89

/var/log/kube-proxy.log 中没有显示来自外部 IP 的最新信息

4

3 回答 3

6

TL;DR:使用节点的内部 IP 作为服务定义中的公共 IP。


如果您在 kube-proxy 上启用详细日志记录,您将看到它似乎正在创建适当的 IP 表规则:

I0602 04:07:32.046823   24360 roundrobin.go:98] LoadBalancerRR service "default/app-frontend-service:" did not exist, created
I0602 04:07:32.047153   24360 iptables.go:186] running iptables -A [KUBE-PORTALS-HOST -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 10.119.244.130/32 --dport 80 -j DNAT --to-destination 10.240.121.42:36970]
I0602 04:07:32.048446   24360 proxier.go:606] Opened iptables from-host portal for service "default/app-frontend-service:" on TCP 10.119.244.130:80
I0602 04:07:32.049525   24360 iptables.go:186] running iptables -C [KUBE-PORTALS-CONTAINER -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j REDIRECT --to-ports 36970]
I0602 04:07:32.050872   24360 iptables.go:186] running iptables -A [KUBE-PORTALS-CONTAINER -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j REDIRECT --to-ports 36970]
I0602 04:07:32.052247   24360 proxier.go:595] Opened iptables from-containers portal for service "default/app-frontend-service:" on TCP 23.251.156.36:80
I0602 04:07:32.053222   24360 iptables.go:186] running iptables -C [KUBE-PORTALS-HOST -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j DNAT --to-destination 10.240.121.42:36970]
I0602 04:07:32.054491   24360 iptables.go:186] running iptables -A [KUBE-PORTALS-HOST -t nat -m comment --comment default/app-frontend-service: -p tcp -m tcp -d 23.251.156.36/32 --dport 80 -j DNAT --to-destination 10.240.121.42:36970]
I0602 04:07:32.055848   24360 proxier.go:606] Opened iptables from-host portal for service "default/app-frontend-service:" on TCP 23.251.156.36:80

列出 iptables 条目-L -t显示公共 IP 变成了反向 DNS 名称,如您所见:

Chain KUBE-PORTALS-CONTAINER (1 references)
target     prot opt source               destination         
REDIRECT   tcp  --  anywhere             10.119.240.2         /* default/kubernetes: */ tcp dpt:https redir ports 50353
REDIRECT   tcp  --  anywhere             10.119.240.1         /* default/kubernetes-ro: */ tcp dpt:http redir ports 54605
REDIRECT   udp  --  anywhere             10.119.240.10        /* default/kube-dns:dns */ udp dpt:domain redir ports 37723
REDIRECT   tcp  --  anywhere             10.119.240.10        /* default/kube-dns:dns-tcp */ tcp dpt:domain redir ports 50126
REDIRECT   tcp  --  anywhere             10.119.244.130       /* default/app-frontend-service: */ tcp dpt:http redir ports 36970
REDIRECT   tcp  --  anywhere             36.156.251.23.bc.googleusercontent.com  /* default/app-frontend-service: */ tcp dpt:http redir ports 36970

但是添加该-n选项会显示 IP 地址(默认情况下,-L会反向查找 ip 地址,这就是您看到 DNS 名称的原因):

Chain KUBE-PORTALS-CONTAINER (1 references)
target     prot opt source               destination         
REDIRECT   tcp  --  0.0.0.0/0            10.119.240.2         /* default/kubernetes: */ tcp dpt:443 redir ports 50353
REDIRECT   tcp  --  0.0.0.0/0            10.119.240.1         /* default/kubernetes-ro: */ tcp dpt:80 redir ports 54605
REDIRECT   udp  --  0.0.0.0/0            10.119.240.10        /* default/kube-dns:dns */ udp dpt:53 redir ports 37723
REDIRECT   tcp  --  0.0.0.0/0            10.119.240.10        /* default/kube-dns:dns-tcp */ tcp dpt:53 redir ports 50126
REDIRECT   tcp  --  0.0.0.0/0            10.119.244.130       /* default/app-frontend-service: */ tcp dpt:80 redir ports 36970
REDIRECT   tcp  --  0.0.0.0/0            23.251.156.36        /* default/app-frontend-service: */ tcp dpt:80 redir ports 36970

此时,您可以使用内部和外部 IP 从集群内部访问服务:

$ curl 10.119.244.130:80
app-frontend-5pl5s
$ curl 23.251.156.36:80
app-frontend-5pl5s

在不添加防火墙规则的情况下,尝试远程连接到公共 ip 会超时。如果您添加防火墙规则,那么您将可靠地拒绝连接:

$ curl 23.251.156.36
curl: (7) Failed to connect to 23.251.156.36 port 80: Connection refused

如果启用一些 iptables 日志记录:

sudo iptables -t nat -I KUBE-PORTALS-CONTAINER -m tcp -p tcp --dport 
80 -j LOG --log-prefix "WTF: "

然后 grep 的输出dmesgWTF明显,数据包到达 10. VM 的 IP 地址,而不是在服务上设置为公共 IP 的临时外部 IP 地址。

事实证明,问题在于 GCE 有两种类型的外部 IP:ForwardingRules(在 DSTIP 完整的情况下转发)和 1 对 1 NAT(实际上将 DSTIP 重写为内部 IP)。VM 的外部 IP 是后一种类型,因此当节点接收到数据包时,IP 表规则不匹配。

修复实际上非常简单(但不直观):使用节点的内部 IP 作为服务定义中的公共 IP。更新您的 service.yaml 文件以将 publicIPs 设置为内部 IP(例如10.240.121.42)后,您将能够从 GCE 网络外部访问您的应用程序。

于 2015-06-02T05:44:11.827 回答
0

如果您将节点的外部 IP 地址添加到服务publicIPs字段,那么您应该能够通过节点的 IP 地址访问它。如果您的集群有多个节点,您可以在字段中输入多个 IP 地址,前提是您希望能够访问其中任何一个节点上的 pod。

在即将发布的版本中,将有一个更简单的内置选项,用于在没有负载均衡器的情况下设置外部服务。如果您对此感到好奇或将来某个时候阅读此内容,请查看本文档更新后的“外部服务”部分,了解如何使用 useNodePort更轻松地完成相同的事情。

于 2015-05-26T06:05:50.860 回答
0

@Robert Bailey 的回答是绝对正确的。publicIPs 在 kubernetes 1.5.1 中已被弃用,您可以使用 externalIPs 代替。

  • 获取节点的内部ip,kubectl describe node | grep Address
    Addresses: 10.119.244.130,101.192.150.200,gke-...
  • 或者您可以ifconfig eth0在节点终端内部运行以获取内部 ip

  • 在 service.yaml 中设置 ip spec: type: NodePort externalIPs: - 10.119.244.130

  • 可以下定决心卷曲进行测试
    curl --resolve 'example.com:443:23.251.156.36' https://example.com -k
于 2017-02-02T05:39:45.930 回答