2

我正在尝试使用 RBAC authz 和准入控制选项构建 Kubernetes 集群 V1.9.3。

我已经使用 V1.6 完成了它并且一切正常,当我的节点启动 kubelet 时,它使用引导文件来获取 kubelet 的客户端证书。它有 5 个文件:kubelet.crt、kubelet.key、kubelet-client.key、kubelet-client.crt 和 kubelet.conf。

在 V1.9 中,我在所有组件上使用相同的配置,我只是将它们调整为更新 1.6->1.9。apiserver、调度程序和控制器管理器启动没有任何问题。

当我的节点启动 kubelet 时,它也使用引导程序并获取 kubelet.crt kubelet.key 和 kubelet-client.key,但既没有 kubelet-client.crt 也没有 kubelet.conf 文件。

我在所有组件的日志中都没有看到任何问题,一切似乎都很好,但是我的 kubelet 没有得到它的配置文件

这是我在 1.9 中的 apiserver 配置:

--admission-control=NodeRestriction,NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,ResourceQuota,DefaultTolerationSeconds 
--authorization-mode=Node,RBAC 
--secure-port=6443 
--bind-address=0.0.0.0 
--advertise-address=10.0.0.8 
--insecure-port=0 
--insecure-bind-address=127.0.0.1 
--client-ca-file=/etc/kubernetes/pki/ca.crt 
--etcd-servers=http://127.0.0.1:2379 
--service-account-key-file=/etc/kubernetes/pki/sa.pub 
--service-cluster-ip-range=172.30.100.0/24 
--tls-cert-file=/etc/kubernetes/pki/kube-apiserver.crt 
--tls-private-key-file=/etc/kubernetes/pki/kube-apiserver.key 
--enable-bootstrap-token-auth 
--kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt
--kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key 
--kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname 
--requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt 
--requestheader-username-headers=X-Remote-User 
--requestheader-group-headers=X-Remote-Group 
--requestheader-allowed-names=front-proxy-client 
--requestheader-extra-headers-prefix=X-Remote-Extra-

1.9 中的 Kubelet 配置:

--bootstrap-kubeconfig=/etc/kubernetes/kubeconfig
--kubeconfig=/etc/kubernetes/kubelet.conf   
--pod-manifest-path=/etc/kubernetes/manifests   
--allow-privileged=true   
--network-plugin=cni   
--cni-conf-dir=/etc/cni/net.d   
--cni-bin-dir=/opt/cni/bin   
--cluster-dns=172.30.0.10   
--cluster-domain=cluster.local   
--authorization-mode=Webhook   
--client-ca-file=/etc/kubernetes/pki/ca.crt   
--cadvisor-port=0   
--rotate-certificates=true   
--cert-dir=/var/lib/kubelet/pki  
--cgroup-driver=systemd

systemctl status -l kubelet :

Feb 23 17:24:43 kubenode1 systemd[1]: Started Kubernetes Kubelet.
Feb 23 17:24:43 kubenode1 systemd[1]: Starting Kubernetes Kubelet...
Feb 23 17:24:43 kubenode1 kubelet[12489]: I0223 17:24:43.664804   12489 feature_gate.go:226] feature gates: &{{} map[]}
Feb 23 17:24:43 kubenode1 kubelet[12489]: I0223 17:24:43.664956   12489 controller.go:114] kubelet config controller: starting controller
Feb 23 17:24:43 kubenode1 kubelet[12489]: I0223 17:24:43.664960   12489 controller.go:118] kubelet config controller: validating combination of defaults and flags
Feb 23 17:24:44 kubenode1 kubelet[12489]: W0223 17:24:44.078716   12489 cni.go:171] Unable to update cni config: No networks found in /etc/cni/net.d
Feb 23 17:24:44 kubenode1 kubelet[12489]: I0223 17:24:44.082194   12489 server.go:182] Version: v1.9.3
Feb 23 17:24:44 kubenode1 kubelet[12489]: I0223 17:24:44.082228   12489 feature_gate.go:226] feature gates: &{{} map[]}
Feb 23 17:24:44 kubenode1 kubelet[12489]: I0223 17:24:44.082310   12489 plugins.go:101] No cloud provider specified.

ls /var/lib/kubelet/pki :

kubelet-client.key
kubelet.crt
kubelet.key

如何强制 kubelet 在 v1.9 中获取 kubelet.conf 文件?有人知道吗?

4

2 回答 2

0

使用这些命令生成相应的配置文件:

kubeadm alpha kubeconfig user --org system:masters --client-name kubernetes-admin  > admin.conf
kubeadm alpha kubeconfig user --client-name system:kube-controller-manager > controller-manager.conf
kubeadm alpha kubeconfig user --org system:nodes --client-name system:node:$(hostname) > kubelet.conf
kubeadm alpha kubeconfig user --client-name system:kube-scheduler > scheduler.conf
于 2020-08-11T10:08:16.880 回答
0

我想我发现了问题,控制器管理器不再自动批准 kubelet 请求。我必须使用以下命令来批准它:

$ kubectl -n kube-system get csr
NAME                                                   AGE       REQUESTOR                 CONDITION
node-csr-a1NZL_Efc2eDyrtSNZcIL1NxuHTvrsCO-ObfFFRUh8U   27s       system:bootstrap:61bb3c   Pending
node-csr-co5i3DRYeYOwCBff5XYA0rfSIqniy05VtdiVTmarQQA   5h        system:bootstrap:61bb3c   Approved,Issued
$ kubectl certificate approve node-csr-IoN3CNTJmJHGKUWso1OXLwd1H3KLOon4oVCz3uVYfqw
certificatesigningrequest "node-csr-a1NZL_Efc2eDyrtSNZcIL1NxuHTvrsCO-ObfFFRUh8U" approved

我按照这个文档认为可以启用自动批准,但似乎不是:/ https://kubernetes.io/docs/admin/kubelet-tls-bootstrapping/#kubectl-approval

于 2018-02-24T23:14:47.157 回答