0

我正在为安全研究做一些 POC，试图直接从工作节点访问命名空间机密。我在 GKE 上有一个运行 Kubernetes 1.20 的集群

我正在从工作（非主）节点运行以下命令：

curl -v $APISERVER/api/v1/namespaces/default/pods/ \
  --cacert /etc/srv/kubernetes/pki/ca-certificates.crt \
  --cert /var/lib/kubelet/pki/kubelet-client.crt \
  --key /var/lib/kubelet/pki/kubelet-client.key

它工作正常。

但是，尝试获取秘密失败：

curl -v $APISERVER/api/v1/namespaces/default/secrets/ \
  --cacert /etc/srv/kubernetes/pki/ca-certificates.crt \
  --cert /var/lib/kubelet/pki/kubelet-client.crt \
  --key /var/lib/kubelet/pki/kubelet-client.key

{
"kind": "Status",
"apiVersion": "v1",
"metadata": {
},
"status": "Failure",
"message": "secrets is forbidden: User \"system:node:gke-XXX--YYY\" cannot list resource \"secrets\" in API group \"\" in the namespace \"pencil\": No Object name found",
"reason": "Forbidden",
"details": {
  "kind": "secrets"
},
"code": 403

查看文档，我看到在节点上运行的 kubelet 应该能够访问机密：https ://kubernetes.io/docs/reference/access-authn-authz/node/

据我了解，授权由ClusterRole system:node. 看着它，我确实看到它对get秘密有作用：

% kubectl get clusterrole system:node -o json
{
    "apiVersion": "rbac.authorization.k8s.io/v1",
    "kind": "ClusterRole",
...
        {
            "apiGroups": [
                ""
            ],
            "resources": [
                "configmaps",
                "secrets"
            ],
            "verbs": [
                "get",
                "list",
                "watch"
            ]
        },
...
    ]
}

还有一些更相关的关于 kubelet 和 kube-apiserver 之间通信的文档：https ://kubernetes.io/docs/concepts/architecture/control-plane-node-communication/#node-to-control-plane

4

3 回答 3

3
  • 我认为您提供的证书位置不正确。我已经在具有以下证书的普通 kubernetes 集群上尝试了相同的操作，并且效果很好。
curl --cacert /etc/kubernetes/pki/ca.crt --cert /etc/kubernetes/pki/apiserver-kubelet-client.crt --key /etc/kubernetes/pki/apiserver-kubelet-client.key $APISERVER/api/v1/namespaces/default/secrets
于 2021-12-22T15:05:11.817 回答
1

深挖源码后，发现No Object name founderror的意思——必须命名为secrets或configmaps才能被检索。正如文档所建议的，如果某个 pod 映射到相关节点，则可以检索它们。

因此，假设server-password我的节点中的某个 pod 使用了一些秘密，以下命令按预期工作：

curl -v $APISERVER/api/v1/namespaces/default/secrets/server-password \
  --cacert /etc/srv/kubernetes/pki/ca-certificates.crt \
  --cert /var/lib/kubelet/pki/kubelet-client.crt \
  --key /var/lib/kubelet/pki/kubelet-client.key

显然kubectl也可以简单地使用它，它首先创建证书/var/lib/kubelet/pki。

kubectl --kubeconfig /var/lib/kubelet/kubeconfig -n default get secret server-password -o json
于 2021-12-24T16:47:47.890 回答
0

这是意料之中的。

因为通过服务帐户（通常）允许访问机密。您需要找到挂载在节点上运行的 pod 上的服务帐户令牌。为此，您可以尝试挖掘节点上的“神奇”/proc 文件夹。如果您可以访问挂载在 pod 上的服务帐户令牌，并且该服务帐户具有访问机密的权限，则只能从节点访问机密。

于 2021-12-23T20:58:22.683 回答