0

描述:

我们有一个基于 golang 库go-micro在 Google Container Engine 上运行的服务,这些服务运行良好,除了白天随机重启。

问题:

Pod 在白天经常重启。这会影响我们的服务和核心服务,如 kube-dns 或 nginx-ingress。检查日志后,看起来像是网络问题,在此 docker daemon 和 kubelet 重新启动后,需要重新启动我们的服务。它可能每天发生 10 次或每天 2 次。这不是经常的。

细节:

版本:

kubectl version                                                                          
Client Version: version.Info{Major:"1", Minor:"5", GitVersion:"v1.5.2",    GitCommit:"08e099554f3c31f6e6f07b448ab3ed78d0520507", GitTreeState:"clean", BuildDate:"2017-01-12T04:57:25Z", GoVersion:"go1.7.4", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"5", GitVersion:"v1.5.3", GitCommit:"029c3a408176b55c30846f0faedf56aae5992e9b", GitTreeState:"clean", BuildDate:"2017-02-15T06:34:56Z", GoVersion:"go1.7.4", Compiler:"gc", Platform:"linux/amd64"}

操作系统:

uname -a
Linux microservices-g1-small-25eedb64-w265 4.4.21+ #1 SMP  Thu Nov 10 02:50:15 PST 2016 x86_64 Intel(R) Xeon(R) CPU @ 2.30GHz   GenuineIntel GNU/Linux

cat /etc/lsb-release
CHROMEOS_AUSERVER=https://tools.google.com/service/update2
CHROMEOS_RELEASE_BOARD=lakitu-signed-mpkeys
CHROMEOS_RELEASE_BRANCH_NUMBER=0
CHROMEOS_RELEASE_BUILDER_PATH=lakitu-release/R56-8977.0.0
CHROMEOS_RELEASE_BUILD_NUMBER=8977
CHROMEOS_RELEASE_BUILD_TYPE=Official Build
CHROMEOS_RELEASE_CHROME_MILESTONE=56
CHROMEOS_RELEASE_DESCRIPTION=8977.0.0 (Official Build) dev-channel lakitu 
CHROMEOS_RELEASE_NAME=Chrome OS
CHROMEOS_RELEASE_PATCH_NUMBER=0
CHROMEOS_RELEASE_TRACK=dev-channel
CHROMEOS_RELEASE_VERSION=8977.0.0
DEVICETYPE=OTHER
GOOGLE_RELEASE=8977.0.0
HWID_OVERRIDE=LAKITU DOGFOOD

Golang 微服务框架 go-micro

我试图检查日志以了解发生了什么以及我发现了什么:

rvices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/064853:INFO:update_manager-inl.h(52)] ChromeOSPolicy::UpdateCheckAllowed: 开始
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]:[0310/064908:WARNING:evaluation_context-inl.h(43)] 读取变量 update_disabled 时出错:“没有为 update_disabled 设置值"
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/064932:WARNING:evaluation_context-inl.h(43)] 读取变量 release_channel_delegated 时出错:“没有为 release_channel_delegated 设置值"
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/065015:INFO:chromeos_policy.cc(314)] 不满足定期检查间隔,阻塞到 2017 年 3 月 10 日格林威治标准时间 6:58:27
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/065025:INFO:update_manager-inl.h(74)] ChromeOSPolicy::UpdateCheckAllowed: END
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1435]:Docker 守护进程失败!
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1435]:Docker 守护进程失败!
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1435]:Docker 守护进程失败!
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1435]:Docker 守护进程失败!
3 月 10 日 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 metrics_daemon[903]: [INFO:upload_service.cc(103)] 指标已禁用。不要上传指标样本。
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1432]:okKubelet 不健康!
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:05.302107123Z" level=error msg="强制关闭守护进程"
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:17.997217 30078 helpers.go:101] 无法从 pid 27012 获取网络统计信息:无法读取网络统计信息:打开失败 /proc/27012/net/d
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.134978 30078 helpers.go:101] 无法从 pid 26236 获取网络统计信息:无法读取网络统计信息:打开失败 /proc/26236/net/d
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.135389 30078 helpers.go:101] 无法从 pid 27581 获取网络统计信息:无法读取网络统计信息:打开失败 /proc/27581/net/d
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.135801 30078 helpers.go:101] 无法从 pid 27581 获取网络统计信息:无法读取网络统计信息:打开失败 /proc/27581/net/d
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.430715 30078 prober.go:98] No ref for container "docker://4a90f704319f64738915bc353515403263a60ad04d5859174b50bb47c255db12" (social-同步
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.430740 30078 prober.go:106] “social-sync-deployment-2745944389-rftmf_on-”的活跃度探测部署开发(80a79ba8-04b6-11e7-be05-42010
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.431064 30078 prober.go:98] No ref for container "docker://964f8ef2da5de63196f5ddfaec156f6b93fb05671be3dd7f2d90e4efb91cbd34" (heapster- v
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.431076 30078 prober.go:106] “heapster-v1.2.0.1-1382115970-”的活跃度探测l9h4q_kube-system(7f0f2677-04b6-11e7-be05-42010af00129):he
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1432]: % Total % Received % Xferd Average Speed Time Time Time Current
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1432]:Dload 上传总花费的剩余速度
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:12Z" level=info msg="stopping containerd after接收终止"
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.525414 30078 prober.go:98] No ref for container "docker://6fa84a9c20b7c8600048a98d06974817e85652b3b66b8c64d6390735de5bbf19" (kube- dns-4
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.525458 30078 prober.go:106] “kube-dns-4101612645-bkt6z_kube-system( 7f12f616-04b6-11e7-be05-42010af00129):kubedns" f
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]:E0310 06:53:18.631190 30078 generic.go:197] GenericPLEG:无法检索 pod:操作超时:超出上下文期限
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:18.646004 30078 container_manager_linux.go:625] 打开 pid 文件 /var/run/docker.pid 时出错:打开/var/run/docker.pid:没有这样的文件或可怕的
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:18.893042 30078 kubelet_pods.go:710] 列出容器时出错:dockertools.operationTimeout{err:context.deadlineExceededError{ }}
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]:E0310 06:53:18.893091 30078 kubelet.go:1860] 清理 pod 失败:操作超时:超出上下文期限
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]:I0310 06:53:18.947556 30078 logs.go:41] http:来自 127.0.0.1:39224 的 TLS 握手错误:EOF
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.990182 30078 prober.go:98] No ref for container "docker://964f8ef2da5de63196f5ddfaec156f6b93fb05671be3dd7f2d90e4efb91cbd34" (heapster- v
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.990207 30078 prober.go:106] “heapster-v1.2.0.1-1382115970-”的活跃度探测l9h4q_kube-system(7f0f2677-04b6-11e7-be05-42010af00129):he
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.990268 30078 prober.go:98] No ref for container "docker://4a90f704319f64738915bc353515403263a60ad04d5859174b50bb47c255db12" (social-同步
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1432]:[1.9K blob 数据]
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.043529322Z" level=error msg="Stop container error: Stop container d0c295d50409a171745524d6171a845fc3d29fd6db26da3fc883653fce1e4
MAR 10 06:53:29 GKE-MICROSERVICES-G1-SMALL-25EEDB64-S0P6 DOCKER [24076]:TIME =“ 2017-03-10T06:53:13.077775854Z
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.078034531Z" level=error msg="停止容器错误:停止容器 1b18343beedfbe58403017fa5326f95675c7ecfc2cd
MAR 10 06:53:29 GKE-MICROSERVICES-G1-SMALL-25EEDB64-S0P6 DOCKER [24076]:TIME =“ 2017-03-10T06:53:13.078074791Z
MAR 10 06:53:29 GKE-MICROSERVICES-G1-SMALL-25EEDB64-S0P6 DOCKER [24076]:TIME =“ 2017-03-10T06:53:13.078113450Z“ LEVEL =” LEVEL =“停止容器错误:停止容器B8E52219A29A29A8B02222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222 ef eforce
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.078150890Z" level=error msg="Stop container error: Stop container 9b9021078f15bc3ea03770c0c135e978326f8e279e60e9663885218070026
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]:I0310 06:53:18.990280 30078 prober.go:106]“social-sync-deployment-2745944389-rftmf_on-”的活跃度探测部署开发(80a79ba8-04b6-11e7-be05-42010
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:19.219709 30078 eviction_manager.go:204] eviction manager: unexpected err: failed ImageStats: failed to list docker images - 操作时间
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.285843 30078 logs.go:41] http:来自 127.0.0.1:39414 的 TLS 握手错误:写入 tcp 127.0.0.1:10250->127.0.0.1:39414:写:坏管
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.400005 30078 kubelet.go:1725] 跳过 pod 同步 - [容器运行时已关闭]
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:19.400065 30078 prober.go:98] No ref for container "docker://6d63f67520d9b76446a00e1f6d81422f12f2fa93a1a9f85a656c0b49e457ba0c" (social- ACC
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.400079 30078 prober.go:106] “social-accounts-deployment-983093656-h9frj_on-”的活跃度探测部署开发(8071bfd6-04b6-11e7-be05-42
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:19.400318 30078 prober.go:98] No ref for container "docker://963021c2befd5e53a61c16ba2f7c97446b4c045bbf92f723e3b899c4fb2cde21" (post-公制
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.400333 30078 prober.go:106] “post-metrics-deployment-556584274-z3p67_on-”的活跃度探测部署开发(7f9d4125-04b6-11e7-be05-42010
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:19.400476 30078 prober.go:98] No ref for container "docker://dc65f853b22eb25bdfaf1ce5bf1d0d6f48e57379caffa526f80a71b086d5247f" (notificati
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1432]:[1.9K blob 数据]
MAR 10 06:53:29 GKE-MICROSERVICES-G1-SMALL-25EEDB64-S0P6 DOCKER [24076]:TIME =“ 2017-03-10T06:53:13.07818154Z
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.078226785Z" level=error msg="停止容器错误:停止容器 a9fefcd23efb7f6472b209d6e38f3b8142c50b54ad
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.078276076Z" level=error msg="停止容器错误: 停止容器 874fdb93aafc0a13bcbeada66f8f35991532c01991cd52c0199
MAR 10 06:53:29 GKE-MICROSERVICES-G1-SMALL-25EEDB64-S0P6 DOCKER [24076]:TIME =“ 2017-03-10T06:53:13.5657834448Z”级
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.565846865Z" level=error msg="停止容器错误:停止容器 add6806333a7185aa4944b9bde0c942be9730e98e
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.565886676Z" level=error msg="Stop container error: Stop container 5631ba532f8b2a4ac262b97fabd2df07a8fe6b0202879e1347a763a5a8921
3 月 10 日 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.400485 30078 prober.go:106] “notifications-deployment-3662335406-r668m_on-deploy-”的活动探测开发(880c38dc-0425-11e7-be05-420

每次尝试更新 ChromeOS 时,都会开始出现 docker 守护进程问题、网络问题等。

kube-proxy.log

I0310 06:53:17.392671 5 proxier.go:750] 删除服务的连接跟踪状态
IP 10.3.240.10,端点 IP 10.0.5.223
标志 --resource-container 已被弃用,此功能将在以后的版本中删除
e.
I0310 06:54:12.615435 5 iptables.go:176] 无法连接到 D-Bus 系统总线:拨打 un
ix /var/run/dbus/system_bus_socket:连接:没有这样的文件或目录
I0310 06:54:12.615488 5 server.go:168] 此版本不支持设置 OOM 分数
I0310 06:54:12.687932 5 server.go:215] 使用 iptables 代理。
I0310 06:54:12.690596 5 server.go:227] 拆除用户空间规则。
I0310 06:54:12.690844 5 healthcheck.go:119] 初始化 kube-proxy 健康检查器
I0310 06:54:12.702034 5 conntrack.go:81] 将 sysctl 'net/netfilter/nf_conntrack_max' 设置为
 131072
I0310 06:54:12.702366 5 conntrack.go:66] 将 conntrack hashsize 设置为 32768
I0310 06:54:12.702927 5 conntrack.go:81] 设置 sysctl 'net/netfilter/nf_conntrack_tcp_tim
eout_builted' 到 86400
I0310 06:54:12.702951 5 conntrack.go:81] 设置 sysctl 'net/netfilter/nf_conntrack_tcp_tim
eout_close_wait' 到 3600
I0310 06:54:12.714134 5 proxier.go:802] 在服务和端点之前不同步 iptables
ts已经从master收到

更多日志:

g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:45.445978 3344 docker_manager.go:1975] 需要为“roles-deployment-1745993421-qxf7z_on-a”重新启动 pod infra 容器
3 月 10 日 06:50:45 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:45.574227 3344 operation_executor.go:917] MountVolume.SetUp 成功用于卷“kubernetes.io/secret/e257aff1 -055d-1
3 月 10 日 06:50:45 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:45.575943 3344 docker_manager.go:1975] 需要为“social-accounts-deployment-”重新启动 pod infra 容器983093656-v
3 月 10 日 06:50:45 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:45.774316 3344 operation_executor.go:917] MountVolume.SetUp 成功用于卷“kubernetes.io/secret/e2762a4c -055d-1
Mar 10 06:50:46 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:46.056277 3344 docker_manager.go:1975] 需要为“tags-srv-deployment-”重新启动 pod infra 容器626769860-js4h5_on
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_UP):eth0:链接未准备好
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd [6680]:无法为 veth37abc82a 生成持久 MAC 地址:没有这样的文件或目录
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_CHANGE):eth0:链接准备就绪
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:设备 veth37abc82a 进入混杂模式
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 3(veth37abc82a) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 3(veth37abc82a) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: veth37abc82a: 获得运营商
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:46.626937 3344 conversion.go:134] 无法为容器处理多个设备。跳过文件系统统计信息
Mar 10 06:50:46 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:46.627371 3344 conversion.go:134] 无法为容器处理多个设备。跳过文件系统统计信息
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_UP):eth0:链接未准备好
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd [6745]:无法为 veth07d02159 生成持久 MAC 地址:没有这样的文件或目录
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_CHANGE):eth0:链接准备就绪
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: veth07d02159: 获得运营商
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:设备 veth07d02159 进入混杂模式
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 12(veth07d02159) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 12(veth07d02159) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_UP):eth0:链接未准备好
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd [6771]:无法为 veth2b02253d 生成持久 MAC 地址:没有这样的文件或目录
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_CHANGE):eth0:链接准备就绪
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: veth2b02253d: 获得运营商
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:设备 veth2b02253d 进入混杂模式
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 23(veth2b02253d) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 23(veth2b02253d) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_UP):eth0:链接未准备好
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd [6796]:无法为 veth55143c6b 生成持久 MAC 地址:没有这样的文件或目录
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_CHANGE):eth0:链接准备就绪
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: veth55143c6b: 获得运营商
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:设备 veth55143c6b 进入混杂模式
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 30(veth55143c6b) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 30(veth55143c6b) 进入转发状态
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_UP):eth0:链接未准备好
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd [6821]:无法为 vethe38b8eee 生成持久 MAC 地址:没有这样的文件或目录
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_CHANGE):eth0:链接准备就绪
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]:vethe38b8eee:获得运营商
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 内核:设备 vethe38b8eee 进入混杂模式
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 31(vethe38b8eee) 进入转发状态
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 内核:cbr0:端口 31(vethe38b8eee) 进入转发状态
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:47.113442 3344 docker_manager.go:2236] 基础设施更改后确定的 pod ip:“roles-deployment-1745993421- qxf7z
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:47.115417 3344 kubelet.go:1816] SyncLoop (PLEG): "social-accounts-deployment-983093656- vh2xt-部署-dev(e257aff
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 docker[3264]: time="2017-03-10T06:50:47.118506356Z" level=error msg="Handler for GET /v1.23 /images/b.gcr.io-container-registry/microservice
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:47.194220 3344 provider.go:119] 为提供者刷新缓存:*gcp_credentials.dockerConfigKeyProvider
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 内核:IPv6:ADDRCONF(NETDEV_UP):eth0:链接未准备好
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-udevd [6847]:无法为 veth2228e3ba 生成持久 MAC 地址:没有这样的文件或目录
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:网络配置已更改,正在尝试建立连接。
3 月 10 日 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]:同步到时间服务器 169.254.169.254:123 (169.254.169.254)。

问题: 这可以避免/减少重启次数并解决网络问题以使我们的系统更稳定吗?

4

1 回答 1

1

这很有趣。虽然不是我建议的解决方案:

具有 0.5 个或更少内核的实例(例如共享内核机器类型)被视为具有 0.5 个内核,并且网络吞吐量上限为 1 Gbit/秒。永久性磁盘写入 I/O 和网络流量都计入实例的网络上限。根据您的需要,确保您的实例可以支持您的应用程序所需的任何永久磁盘吞吐量。有关详细信息,请参阅永久性磁盘规范。

  • 启动更多 kube-dns 和 nginx-ingress-controller 副本,以减少单节点故障的影响
于 2017-03-10T14:13:31.157 回答