kubernetes - 裸机 k8s 入口与 nginx-ingress

Question

我无法应用入口配置。

我需要通过它的 DNS 访问 jupyter-lab 服务

http://jupyter-lab.local

它部署到 3 节点裸机 k8s 集群

node1.local（主）
node2.local（工人）
node3.local（工人）

Flannel 安装为网络控制器

我已经为这样的裸机安装了 nginx 入口

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.44.0/deploy/static/provider/baremetal/deploy.yaml

部署时，jupyter-lab pod 位于 node2 上，并且NodePort服务从http://node2.local:30004正确响应（见下文）

我期待 ingress-nginx 控制器将通过其 DNS 名称公开ClusterIP服务......这就是我所需要的，这是错误的吗？

这是 CIP 服务，用对称端口定义8888尽可能简单（有错吗？）

---
apiVersion: v1
kind: Service
metadata:
  name: jupyter-lab-cip
  namespace: default
spec:
  type: ClusterIP
  ports:
    - port: 8888
      targetPort: 8888
  selector:
    app: jupyter-lab

DNS 名称jupyter-lab.local解析为集群的 IP 地址范围，但超时且无响应。Failed to connect to jupyter-lab.local port 80: No route to host
firewall-cmd --list-all显示每个节点上都打开了 80 端口

这是 http 进入集群（任何节点）端口 80 的入口定义。（错了吗？）

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: jupyter-lab-ingress
  annotations:
    # nginx.ingress.kubernetes.io/rewrite-target: /
    nginx.ingress.kubernetes.io: /
spec:
  rules:
  - host: jupyter-lab.local
    http:                       
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: jupyter-lab-cip
            port:
              number: 80

这是部署

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: jupyter-lab-dpt
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: jupyter-lab
  template:
    metadata:
      labels:
        app: jupyter-lab
    spec:
      volumes:
        - name: jupyter-lab-home
          persistentVolumeClaim:
            claimName: jupyter-lab-pvc
      containers:
        - name: jupyter-lab
          image: docker.io/jupyter/tensorflow-notebook
          ports:
            - containerPort: 8888
          volumeMounts:
            - name: jupyter-lab-home
              mountPath: /var/jupyter-lab_home
          env:
            - name: "JUPYTER_ENABLE_LAB"
              value: "yes"

我可以通过其 NodePort http://node2:30004 使用以下定义成功访问 jupyter-lab：

---
apiVersion: v1
kind: Service
metadata:
  name: jupyter-lab-nodeport
  namespace: default
spec:
  type: NodePort
  ports:
    - port: 10003
      targetPort: 8888
      nodePort: 30004
  selector:
    app: jupyter-lab

我怎样才能在http://jupyter-lab.local进入我的 jupyter-lab ？？？

命令kubectl get endpoints -n ingress-nginx ingress-nginx-controller-admission返回：

ingress-nginx-controller-admission 10.244.2.4:8443 15m

我是否错误配置了端口？

我的“选择器：应用程序名称”定义错误吗？

我错过了一部分吗

我怎样才能调试发生了什么？

其他详情

应用入口时出现此错误kubectl apply -f default-ingress.yml

Error from server (InternalError): error when creating "minnimal-ingress.yml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post "https://ingress-nginx-contr
oller-admission.ingress-nginx.svc:443/networking/v1beta1/ingresses?timeout=10s": context deadline exceeded

此命令kubectl delete validatingwebhookconfigurations --all-namespaces 删除了验证 webhook ...这样做有错吗？

我已经在集群中的每个节点上打开了端口 8443

score 2 · Accepted Answer

Ingress 无效，请尝试以下操作：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: jupyter-lab-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: jupyter-lab.local
    http:                       # <- removed the -
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
#            name: jupyter-lab-cip
            name: jupyter-lab-nodeport
            port:
              number: 8888
---
apiVersion: v1
kind: Service
metadata:
  name: jupyter-lab-cip
  namespace: default
spec:
  type: ClusterIP
  ports:
    - port: 8888
      targetPort: 8888
  selector:
    app: jupyter-lab

如果我理解正确，您正在尝试通过入口 nginx 代理公开 jupyternb 并使其可通过端口 80 访问。

运行以下命令检查 nginx 入口服务使用的节点端口：

$ kubectl get svc -n ingress-nginx ingress-nginx-controller
NAME                       TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller   NodePort   10.96.240.73   <none>        80:30816/TCP,443:31475/TCP   3h30m

在我的情况下，端口 30816（用于 http）和 31475（用于 https）。

使用 NodePort 类型，您只能使用 30000-32767 范围内的端口（k8s 文档：https ://kubernetes.io/docs/concepts/services-networking/service/#nodeport ）。您可以使用 kube-apiserver 标志更改它--service-node-port-range，然后将其设置为 eg80-32767然后在您的 ingress-nginx-controller 服务集中nodePort: 80

apiVersion: v1
kind: Service
metadata:
  annotations: {}
  labels:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/version: 0.44.0
    helm.sh/chart: ingress-nginx-3.23.0
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: http
    nodePort: 80         # <- HERE
  - name: https
    port: 443
    protocol: TCP
    targetPort: https
    nodePort: 443         # <- HERE
  selector:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/name: ingress-nginx
  type: NodePort

尽管通常不建议更改 service-node-port-range，因为如果您使用节点上已经打开的端口（例如每个节点上的 kubelet 开放的端口 10250），您可能会遇到一些问题。

可能更好的解决方案是使用MetalLB。

编辑：

我怎样才能在http://jupyter-lab.local进入我的 jupyter-lab ？？？

假设您不需要容错解决方案，请下载部署对象的https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.44.0/deploy/static/provider/baremetal/deploy.yaml文件和更改ports:部分，如下所示：

  ports:
    - name: http
      containerPort: 80
      hostPort: 80         # <- add this line
      protocol: TCP
    - name: https
      containerPort: 443
      hostPort: 443        # <- add this line
      protocol: TCP
    - name: webhook
      containerPort: 8443
      protocol: TCP

并应用更改：

kubectl apply -f deploy.yaml

现在运行：

$ kubectl get po -n ingress-nginx ingress-nginx-controller-<HERE PLACE YOUR HASH>  -owide
NAME                                        READY   STATUS    RESTARTS   AGE   IP           NODE       NOMINATED NODE   READINESS GATES
ingress-nginx-controller-67897c9494-c7dwj   1/1     Running   0          97s   172.17.0.6   <node_name>   <none>           <none>

注意 NODE 列中的 <node_name>。这是调度 pod 的节点名称。现在获取此节点 IP 并将其添加到您的/etc/hosts文件中。

它现在应该可以工作（去http://jupyter-lab.local进行检查），但是这个解决方案很脆弱，如果 nginx 入口控制器 pod 被重新安排到其他节点，它将停止工作（并且它会一直保持这种状态，直到你更改 /etc/hosts 文件中的 ip）。通常也不建议使用hostPort:字段，除非您有充分的理由这样做，所以不要滥用它。

如果您需要容错解决方案，请使用 MetalLB 并为 nginx 入口控制器创建类型为 LoadBalancer 的服务。

我尚未对其进行测试，但假设您正确配置了 MetalLB，以下应该可以完成工作：

kubectl delete svc -n ingress-nginx ingress-nginx-controller
kubectl expose deployment -n ingress-nginx ingress-nginx-controller --type LoadBalancer