我正在使用适用于 Google Cloud Dataproc 的 Python 客户端库运行一个脚本,该脚本会自动配置集群、提交作业等。但是在尝试提交作业时,它会返回ImportError: no module named pandas
. 我在运行作业的脚本中导入了 pandas 以及其他几个包。我不确定如何解决这个问题。
那么这有意义吗?
#!/bin/bash
ROLE=$(/usr/share/google/get_metadata_value attributes/dataproc-role)
if [[ "${ROLE}" == 'Master' ]]; then
apt-get install python-pandas -y
apt-get install python-numpy -y
apt-get install g++ cmake
apt-get install python-math
apt-get install python-argparse
apt-get install python-os
apt-get install python-sys
apt-get install python-glob
apt-get install python-gzip
apt-get install python-hail
fi
这是我更新的 bash 脚本:
#!/bin/bash
list= "python-pandas, python-numpy, python-argparse"
ROLE=$(/usr/share/google/get_metadata_value attributes/dataproc-role)
if [[ "${ROLE}" == 'Master' ]]; then
for i in $list; do
sudo apt-get install -y $i
done
wget -P /home/anaconda2/ https://repo.continuum.io/archive/Anaconda2-4.3.1-Linux-x86_64.sh
bash /home/anaconda2/Anaconda2-4.3.1-Linux-x86_64.sh -b -f -p /home/anaconda2/
chmod /home/anaconda2 0777
/home/anaconda2/bin/pip install lxml
/home/anaconda2/bin/pip install jupyter-spark
/home/anaconda2/bin/pip install jgscm
fi