0

在 Google Cloud 上部署官方 Dask Helm 图表后,我使用一些额外的 conda 包更新了环境,特别是 xarray 和 rasterio。如果我尝试运行我的代码,我会从工作人员日志中返回此错误,并且程序会停止。

回溯(最后一次调用):文件“/opt/conda/lib/python3.7/site-packages/tornado/ioloop.py”,第 743 行,在 _run_callback ret = callback() 文件“/opt/conda/lib /python3.7/site-packages/tornado/ioloop.py”,第 767 行,在 _discard_future_result future.result() 文件中“/opt/conda/lib/python3.7/site-packages/tornado/gen.py”,第 742 行,在运行中 yielded = self.gen.throw(*exc_info) # 类型:忽略文件“/opt/conda/lib/python3.7/site-packages/distributed/worker.py”,第 661 行,在 handle_scheduler self .ensure_computing]) 文件“/opt/conda/lib/python3.7/site-packages/tornado/gen.py”,第 735 行,运行值 = future.result() 文件“/opt/conda/lib/python3 .7/site-packages/tornado/gen.py",第 742 行,运行中 yielded = self.gen.throw(*exc_info) # type: ignore File "/opt/conda/lib/python3.7/site-packages/distributed/core.py”,第 386 行,在 handle_stream msgs = yield comm.read() 文件“/opt/conda/lib/python3.7/site- packages/tornado/gen.py”,第 735 行,运行中 value = future.result() 文件“/opt/conda/lib/python3.7/site-packages/tornado/gen.py”,第 742 行,运行中yielded = self.gen.throw(*exc_info) # type: ignore File "/opt/conda/lib/python3.7/site-packages/distributed/comm/tcp.py", line 206, in read deserializers=deserializers)文件“/opt/conda/lib/python3.7/site-packages/tornado/gen.py”,第 735 行,运行值 = future.result() 文件“/opt/conda/lib/python3.7/site -packages/tornado/gen.py”,第 209 行,在 wrapper 中产生 = next(result) 文件“/opt/conda/lib/python3.7/site-packages/distributed/comm/utils.py”,第 82 行,在 from_frames res = _from_frames() 文件“/opt/conda/lib/python3.7/site-packages/distributed/comm/utils.py”,第 68 行,在 _from_frames deserializers=deserializers) 文件“/opt/conda/lib /python3.7/site-packages/distributed/protocol/core.py”,第 132 行,加载值 = _deserialize(head, fs, deserializers=deserializers) 文件“/opt/conda/lib/python3.7/site- packages/distributed/protocol/serialize.py”,第 184 行,在反序列化返回加载(标题,帧)文件“/opt/conda/lib/python3.7/site-packages/distributed/protocol/serialize.py”,行57,在 pickle_loads 中返回 pickle.loads(b''.join(frames)) 文件“/opt/conda/lib/python3.7/site-packages/distributed/protocol/pickle.py”,第 59 行,在负载中返回pickle.loads(x) 文件“/opt/conda/lib/python3.7/site-packages/rasterio/7/站点包/rasterio/init .py",第 22 行,in from rasterio._base import gdal_version ImportError: libzstd.so.1: cannot open shared object file: No such file or directory

对于我的理解,问题似乎是缺少或损坏的库 libzstdl,对吗?我无法尝试重新安装它,因为我没有管理员权限。helm carts 是基于官方的 dask/docker 版本 谁能帮我看看在哪个频道上报告这个问题比较好?

4

2 回答 2

0

看起来您的所有客户和工作人员的版本都不相同。请注意,EXTRA_CONDA_PACKAGES=您正在使用的环境变量需要在客户端和工作人员规范中都使用,而不仅仅是一个。

您也可以尝试client.get_versions(check=True)验证对 Dask 更重要的一些包是否已同步。

于 2019-07-30T22:49:51.757 回答
0

解决了在 helm 文件中添加:

env:
    - name: EXTRA_APT_PACKAGES
      value : libzstd1
于 2019-07-31T10:27:32.043 回答