2

我已经根据通过 Docker 在本地运行 Kubernetes指南在 Ubuntu（值得信赖）上设置了 Kubernetes 集群，部署了 DNS 并使用 InfluxDB 后端和 Grafana UI 运行 Heapster。

除了 Grafana 之外，一切似乎都运行顺利，它不显示任何图表，但图表中的消息No datapoints：截图

检查 Docker 容器日志后，我发现 Heapster 无法访问 kubelet API（？），因此没有指标被持久化到 InfluxDB 中：

user@host:~$ docker logs e490a3ac10a8
I0701 07:07:30.829745       1 heapster.go:65] /heapster --source=kubernetes:https://kubernetes.default --sink=influxdb:http://monitoring-influxdb:8086
I0701 07:07:30.830082       1 heapster.go:66] Heapster version 1.2.0-beta.0
I0701 07:07:30.830809       1 configs.go:60] Using Kubernetes client with master "https://kubernetes.default" and version v1
I0701 07:07:30.831284       1 configs.go:61] Using kubelet port 10255
E0701 07:09:38.196674       1 influxdb.go:209] issues while creating an InfluxDB sink: failed to ping InfluxDB server at "monitoring-influxdb:8086" - Get http://monitoring-influxdb:8086/ping: dial tcp 10.0.0.223:8086: getsockopt: connection timed out, will retry on use
I0701 07:09:38.196919       1 influxdb.go:223] created influxdb sink with options: host:monitoring-influxdb:8086 user:root db:k8s
I0701 07:09:38.197048       1 heapster.go:92] Starting with InfluxDB Sink
I0701 07:09:38.197154       1 heapster.go:92] Starting with Metric Sink
I0701 07:09:38.228046       1 heapster.go:171] Starting heapster on port 8082
I0701 07:10:05.000370       1 manager.go:79] Scraping metrics start: 2016-07-01 07:09:00 +0000 UTC, end: 2016-07-01 07:10:00 +0000 UTC
E0701 07:10:05.008785       1 kubelet.go:230] error while getting containers from Kubelet: failed to get all container stats from Kubelet URL "http://127.0.0.1:10255/stats/container/": Post http://127.0.0.1:10255/stats/container/: dial tcp 127.0.0.1:10255: getsockopt: connection refused
I0701 07:10:05.009119       1 manager.go:152] ScrapeMetrics: time: 8.013178ms size: 0
I0701 07:11:05.001185       1 manager.go:79] Scraping metrics start: 2016-07-01 07:10:00 +0000 UTC, end: 2016-07-01 07:11:00 +0000 UTC
E0701 07:11:05.007130       1 kubelet.go:230] error while getting containers from Kubelet: failed to get all container stats from Kubelet URL "http://127.0.0.1:10255/stats/container/": Post http://127.0.0.1:10255/stats/container/: dial tcp 127.0.0.1:10255: getsockopt: connection refused
I0701 07:11:05.007686       1 manager.go:152] ScrapeMetrics: time: 5.945236ms size: 0
W0701 07:11:25.010298       1 manager.go:119] Failed to push data to sink: InfluxDB Sink
I0701 07:12:05.000420       1 manager.go:79] Scraping metrics start: 2016-07-01 07:11:00 +0000 UTC, end: 2016-07-01 07:12:00 +0000 UTC
E0701 07:12:05.002413       1 kubelet.go:230] error while getting containers from Kubelet: failed to get all container stats from Kubelet URL "http://127.0.0.1:10255/stats/container/": Post http://127.0.0.1:10255/stats/container/: dial tcp 127.0.0.1:10255: getsockopt: connection refused
I0701 07:12:05.002467       1 manager.go:152] ScrapeMetrics: time: 1.93825ms size: 0
E0701 07:12:12.309151       1 influxdb.go:150] Failed to create infuxdb: failed to ping InfluxDB server at "monitoring-influxdb:8086" - Get http://monitoring-influxdb:8086/ping: dial tcp 10.0.0.223:8086: getsockopt: connection timed out
I0701 07:12:12.351348       1 influxdb.go:201] Created database "k8s" on influxDB server at "monitoring-influxdb:8086"
I0701 07:13:05.001052       1 manager.go:79] Scraping metrics start: 2016-07-01 07:12:00 +0000 UTC, end: 2016-07-01 07:13:00 +0000 UTC
E0701 07:13:05.015947       1 kubelet.go:230] error while getting containers from Kubelet: failed to get all container stats from Kubelet URL "http://127.0.0.1:10255/stats/container/": Post http://127.0.0.1:10255/stats/container/: dial tcp 127.0.0.1:10255: getsockopt: connection refused
...

我在 GitHub 上发现了一些描述类似问题的问题，这些问题让我明白 Heapster 不是访问 kubelet（通过节点的环回）而是访问本身（通过容器的环回）。但是，我无法重现他们的解决方案：

github.com/kubernetes/heapster/issues/1183

您应该为 Heapster pod 使用主机网络，或者以节点具有常规名称而不是 127.0.0.1 的方式配置集群。当前的问题是节点名称被解析为 Heapster localhost。如果有更多问题，请重新打开。

-@piosz

  • 如何为我的 Heapster pod 启用“主机网络”？
  • 如何配置我的集群/节点以使用常规名称而不是 127.0.0.1？

github.com/kubernetes/heapster/issues/744

通过在 hyperkube 中使用更好的选项进行了修复，感谢您的帮助！

-@ddispaltro

  • 有没有办法通过添加/修改 kubelet 的选项标志来解决这个问题docker run？
    我尝试设置--hostname-override=<host's eth0 IP>and --address=127.0.0.1（如本 GitHub 问题的最后一个答案中所建议的那样），但 Heapster 的容器日志随后指出：

    I0701 08:23:05.000566 1 manager.go:79] Scraping metrics start: 2016-07-01 08:22:00 +0000 UTC, end: 2016-07-01 08:23:00 +0000 UTC E0701 08:23:05.000962 1 kubelet.go:279] Node 127.0.0.1 is not ready E0701 08:23:05.003018 1 kubelet.go:230] error while getting containers from Kubelet: failed to get all container stats from Kubelet URL "http://<host's eth0 IP>:10255/stats/container/": Post http://<host's eth0 IP>/stats/container/: dial tcp <host's eth0 IP>:10255: getsockopt: connection refused

命名空间问题

这个问题可能是由于我在命名空间中运行 Kubernetes APIdefault而在 Heapster 中运行的事实引起的kube-system吗？

user@host:~$ kubectl get --all-namespaces pods
NAMESPACE     NAME                     READY     STATUS    RESTARTS   AGE
default       k8s-etcd-127.0.0.1       1/1       Running   0          18h
default       k8s-master-127.0.0.1     4/4       Running   1          18h
default       k8s-proxy-127.0.0.1      1/1       Running   0          18h
kube-system   heapster-lizks           1/1       Running   0          18h
kube-system   influxdb-grafana-e0pk2   2/2       Running   0          18h
kube-system   kube-dns-v10-4vjhm       4/4       Running   0          18h

操作系统：Ubuntu 14.04.4 LTS（值得信赖）| Kubernetes：v1.2.5 | 码头工人：v1.11.2

4

2 回答 2

1

Heapster 已从 Kubernetes 获取节点列表，现在正尝试从每个节点上的 kublete 进程中提取统计信息（该节点具有内置的 cAdvisor 收集节点上的统计信息）。在这种情况下，只有一个节点，并且 127.0.0.1 为 kubernetes 所知。这就是问题所在。Heapster 容器正试图到达 127.0.0.1 的节点，该节点本身就是它，当然在 Heapster 容器中找不到要询问的 kublete 进程。

要解决这个问题，需要做两件事。

  1. 我们需要通过环回网络地址 127.0.0.1 以外的其他方式引用 kublete 工作节点（我们运行 kubernetes 的主机）
  2. kublete 进程需要接受来自新网络接口/地址的流量

假设您正在使用本地安装指南并使用以下命令启动 kubernetes

hack/local-up-cluster.sh

更改引用 kublete 的主机名非常简单。您可以采取更精细的方法，但将其设置为您的 eth0 ip 对我来说效果很好（ifconfig eth0）。缺点是您需要一个 eth0 接口，这受制于 DHCP，因此您的里程可能会因方便程度而异。

export HOSTNAME_OVERRIDE=10.0.2.15

让 kublete 进程接受来自任何网络接口的流量同样简单。

export KUBELET_HOST=0.0.0.0
于 2016-09-08T20:09:54.690 回答
1

为您的 heapster 配置提供以下参数以解决问题。

--source=kubernetes: https://kubernetes.default:443?useServiceAccount=true&kubeletHttps=true&kubeletPort=10250&insecure=true

于 2019-04-08T02:30:15.223 回答