0

我dask-yarn在 mapr-cluster 中以本地模式使用。我已将虚拟环境解压缩到节点之间的共享文件夹中。有时工人（容器）在集群中正常启动，但有时容器在纱线中具有下一条错误消息。

/usr/bin/env: 'python3.6': No such file or directory

与此同时，我看到很多状态为 FAILED ( > 1000 ) 的容器。我的初始供应大约是 5 名工人，但是我必须等待大约 10 分钟或更长时间才能获得初始供应。

接下来是我的/etc/dask/yarn.yaml配置

yarn:
  specification: null        
  name: dask                 
  queue: default             
  deploy-mode: local        
  environment: "venv://<shared_location>"
  tags: []                  
  user: ''                  
  host: "host_name"             
  port: 8788                    
  dashboard-address: ":17439"   

  scheduler:                 
    vcores: 1
    memory: 2GiB

  worker:                   
    vcores: 1
    memory: 2GiB
    restarts: -1            
    env: {'SOME_VAR':'some_value'}
4

1 回答 1

0

问题原因：一些节点没有相同的python版本并且在相同的位置。因为我使用的是虚拟环境。虚拟环境期望在所有节点的同一位置有 python

于 2020-08-21T09:18:39.607 回答