python-2.7 - 使用 spark-submit 强制 Python2

Question

我正在使用 AWS EMR 创建一个 Spark 应用程序，但 spark-submit 使用 Python 3 而不是 Python 2 运行。但是当我运行 pyspark 时，它是 Python 2。

如何强制 spark-submit 使用 Python 2？

我试着做

export PYSPARK_PYTHON=/usr/bin/python2 

但它没有用。

谢谢

Answer 1

您是否尝试过插入

PYSPARK_PYTHON=/usr/bin/python2 

声明到 spark-env.sh 文件中？

Answer 2

实际上我的代码中有这个

from __future__ import print_function

当我运行 print 'hello world' 时，它崩溃了，因为它不是默认的打印功能。但我认为它崩溃了，因为它使用的是 Python 3 而不是 Python 2。