我正在使用KubeSpray在 AWS 上配置一个两节点集群。默认--kubelet-certificate-authority不使用该参数。但是，我想设置它。
我不知道正确的设置--kubelet-certificate-authority。当我将其设置为时，/etc/kubernetes/pki/ca.crt我会在日志中看到如下消息：
TLS handshake error from 10.245.207.223:59278: remote error: tls: unknown certificate authority
为了创建一个隔离的测试环境，我通过 SSH 连接到我的控制器节点以运行此命令，该命令在4667. 我直接从/etc/kubernetes/manifests/kube-apiserver.yaml. 您需要调整该值以匹配您自己的集群。我故意在交互模式下运行容器，以便我可以看到日志消息。
sudo docker run \
--name api-server-playground \
-it \
--rm \
--network host \
--volume /etc/kubernetes:/etc/kubernetes:ro \
--volume /etc/pki:/etc/pki:ro \
--volume /etc/ssl:/etc/ssl/:ro \
k8s.gcr.io/kube-apiserver:v1.18.9 \
kube-apiserver \
--advertise-address=10.245.207.223 \
--allow-privileged=true \
--anonymous-auth=True \
--apiserver-count=1 \
--authorization-mode=Node,RBAC \
--bind-address=0.0.0.0 \
--client-ca-file=/etc/kubernetes/ssl/ca.crt \
--cloud-config=/etc/kubernetes/cloud_config \
--cloud-provider=aws \
--enable-admission-plugins=NodeRestriction \
--enable-aggregator-routing=False \
--enable-bootstrap-token-auth=true \
--endpoint-reconciler-type=lease \
--etcd-cafile=/etc/ssl/etcd/ssl/ca.pem \
--etcd-certfile=/etc/ssl/etcd/ssl/node-ip-10-245-207-223.ec2.internal.pem \
--etcd-keyfile=/etc/ssl/etcd/ssl/node-ip-10-245-207-223.ec2.internal-key.pem \
--etcd-servers=https://10.245.207.119:2379 \
--event-ttl=1h0m0s \
--insecure-port=0 \
--kubelet-client-certificate=/etc/kubernetes/ssl/apiserver-kubelet-client.crt \
--kubelet-client-key=/etc/kubernetes/ssl/apiserver-kubelet-client.key \
--kubelet-preferred-address-types=InternalDNS,InternalIP,Hostname,ExternalDNS,ExternalIP \
--profiling=False \
--proxy-client-cert-file=/etc/kubernetes/ssl/front-proxy-client.crt \
--proxy-client-key-file=/etc/kubernetes/ssl/front-proxy-client.key \
--request-timeout=1m0s \
--requestheader-allowed-names=front-proxy-client \
--requestheader-client-ca-file=/etc/kubernetes/ssl/front-proxy-ca.crt \
--requestheader-extra-headers-prefix=X-Remote-Extra- \
--requestheader-group-headers=X-Remote-Group \
--requestheader-username-headers=X-Remote-User \
--secure-port=6447 \
--service-account-key-file=/etc/kubernetes/ssl/sa.pub \
--service-cluster-ip-range=10.233.0.0/18 \
--service-node-port-range=30000-32767 \
--storage-backend=etcd3 \
--tls-cert-file=/etc/kubernetes/ssl/apiserver.crt \
--tls-private-key-file=/etc/kubernetes/ssl/apiserver.key
现在可以再次通过 SSH 连接到控制器并用于curl与自定义 apiserver 容器进行交互。
- 将 APISERVER 变量设置为指向控制器节点。我正在使用
advertise-address上面参数的值。
APISERVER=https://10.245.207.223:6447
- 获得令牌。
TOKEN=$(kubectl get secrets -o jsonpath="{.items[?(@.metadata.annotations['kubernetes\.io/service-account\.name']=='default')].data.token}"|base64 --decode); echo "TOKEN=$TOKEN"
- 发出 api 请求。此请求将失败，因为“无法识别对等证书颁发者。”。
curl --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api
docker 日志中将出现一条错误消息。它看起来像这样：
I0921 14:39:07.662368 1 log.go:172] http: TLS handshake error
from 10.245.207.223:59278: remote error: tls: unknown certificate authority
- 现在使用
-kcurl 参数绕过识别问题。
curl -k --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api
{
"kind": "APIVersions",
"versions": [
"v1"
],
"serverAddressByClientCIDRs": [
{
"clientCIDR": "0.0.0.0/0",
"serverAddress": "10.245.207.223:6447"
}
]
}
您将看到请求正常工作。但是，我不想使用该-k参数。所以我尝试使用来自 apiserver 的证书颁发机构。
- 从 apiserver 获取证书颁发机构。
echo | \
openssl s_client -connect $APISERVER 2>/dev/null | \
openssl x509 -text | \
sed -n "/BEGIN CERTIFICATE/,/END CERTIFICATE/p" \
> apiserver.ca.crt
- 将证书颁发机构文件用于 api 请求。
curl --cacert apiserver.ca.crt --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api
更新
根据 Wiktor 的回复提示的想法，我添加了 /etc/kubernetes/ssl/ca.crt 作为证书颁发机构。并在我的curl命令中使用了该文件。
curl --cacert /etc/kubernetes/ssl/ca.crt --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api
这行得通。