0

当我使用带有以太网连接的 2 个 Spark 执行器的 CaffeOnSpark 训练 DNN 网络时，出现错误。我以https://github.com/yahoo/CaffeOnSpark/wiki/GetStarted_yarn上的示例运行该作业

export SPARK_WORKER_INSTANCES=2 
export DEVICES=1
hadoop fs -rm -f hdfs:///mnist.model
hadoop fs -rm -r -f hdfs:///mnist_features_result
spark-submit --master yarn --deploy-mode cluster \
    --num-executors 2 \
    --files ${CAFFE_ON_SPARK}/data/lenet_memory_solver.prototxt,${CAFFE_ON_SPARK}/data/lenet_memory_train_test.prototxt \
    --conf spark.driver.extraLibraryPath="${LD_LIBRARY_PATH}" \
    --conf spark.executorEnv.LD_LIBRARY_PATH="${LD_LIBRARY_PATH}" \
    --class com.yahoo.ml.caffe.CaffeOnSpark  \
    ${CAFFE_ON_SPARK}/caffe-grid/target/caffe-grid-0.1-SNAPSHOT-jar-with-dependencies.jar \
        -train \
        -features accuracy,loss -label label \
        -conf lenet_memory_solver.prototxt \
        -devices 1 \
    -connection ethernet \
        -model hdfs:///mnist.model \
        -output hdfs:///mnist_features_result

这是我得到的错误。

当我看到数据节点的日志时，错误如下。 数据节点日志

非常感谢您的回答。

4

0 回答 0