Qubole 上的当前版本是 3.5.3,一些包,如 PyMC3 和未来的 XGBoost 需要更高版本。如何升级?这会影响其他集群的设置吗?
问问题
76 次
1 回答
0
有几个选项:
如果您使用的是环境,您可以联系 Qubole 支持并更新到 Python 3.7 附带的最新版本。但是,这会影响整个集群,并且不仅限于您的工作。
如果您自己管理包,那么您可以通过节点引导程序使用 Python 3.7 安装 miniconda,然后将您的工作指向使用该环境。
pushd /tmp
wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh -bfp /media/ephemeral0/py_37_env
然后你可以使用 Spark 属性spark.pyspark.python
来指向你的工作来使用这个 miniconda 环境。您可能必须相应地重新安装依赖项。
于 2020-03-12T05:09:07.477 回答