0

我正在尝试在 spark 集群上运行一个基本脚本，该脚本接收一个文件，将其转换并以不同的格式输出。目前的 spark 集群由 1 个 master 和 1 个 slave 组成，它们都在同一个节点上运行。完整的命令是：

nohup spark-submit --master spark://tr-nodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g --conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar
--conf spark.executor.extraClassPath=./hail-all-spark.jar ./hail_scripts/v02/convert_vcf_to_hail.py /clinvar_37.vcf -ht
--genome-version 37 --output /seqr-reference-hail2/clinvar_37.ht &

它给出了一个错误：

hail.utils.java.FatalError: IllegalStateException: 未读块数据

更详细的堆栈跟踪可以在另一个我问过同样问题的论坛上找到：

https://discuss.hail.is/t/unread-block-data-error-spark-master-slave-issue/1182

这样的命令工作正常：

nohup spark-submit --conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar 
--conf spark.executor.extraClassPath=./hail-all-spark.jar ./hail_scripts/v02/convert_vcf_to_hail.py /hgmd_pro_2019.3_hg19_noDB.vcf -ht 
--genome-version 37 --output /seqr-reference-hail2/hgmd_2019.3_hg19_noDB.ht &

因此，在本地模式下它运行良好，但在独立模式下却不是。所以，我猜是主从不同设置的问题，可能JAVA。但是，spark-env.sh像这样设置它们：

导出 JAVA_HOME=/usr/lib/jvm/java

导出 SPARK_JAVA_OPTS+="-Djava.library.path= $SPARK_LIBRARY_PATH : $JAVA_HOME"

不解决问题。要启动 master + slave，我只使用start-all.sh脚本。任何建议将不胜感激。

4

1 回答 1

0

好的，我们修复了它，解决方案是将以下设置添加到运行脚本的命令中：

–jars /opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar

因此，工作命令如下：

spark-submit --master spark://ai-grisnodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g --conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar --conf spark.executor.extraClassPath=./hail-all-spark.jar --jars /opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar test_hail.py

对于未来的Hail 0.2用户可能需要知道这个--jars参数需要指定，并且它应该指向hail-all-spark.jar。

于 2019-11-21T18:01:13.467 回答