我尝试打开存储在 GCS 中的笔记本。我使用 Jupyter 创建了一个 Dataproc 集群，并连接了 Jupyter Web 界面。
当我打开我的笔记本时，我收到一个错误（错误 504，没有更多信息）。
当我打开我的笔记本时，我检查了主节点，我看到有 'knox' 进程消耗了我的 cpu(%198) 和 memory(%100) 资源。
我每周遇到这种情况3-4次。
有没有人遇到过同样的问题？
问问题
92 次
1 回答
1
我通过使用 Jupyter 组件创建一个集群来重现您的问题，然后打开一个 Python 笔记本并运行了print('hello world')很多次。然后我 ssh 进入主节点并持续监控 Knox 进程的内存使用情况。每次我运行单元格时，Knox 进程的内存都会增加约 3M。
然后设置可能会export KNOX_GATEWAY_MEM_OPTS="-Xms512m -Xmx1024m"有所帮助，但这似乎不是您的问题的原因。/usr/lib/knox/bin/knox-env.shsudo systemctl restart knox
于 2021-07-22T22:00:01.927 回答