1

我有一个 spark/cassandra 设置，我使用 spark cassandra java 连接器在表上进行查询。到目前为止，我有 1 个 spark 主节点（2 个核心）和 1 个工作节点（4 个核心）。它们在 conf/ 下都有以下 spark-env.sh：

#!/usr/bin/env bash
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP="192.168.4.134"
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=2G

这是我的火花执行代码：

    SparkConf conf = new SparkConf();
    conf.setAppName("Testing");
    conf.setMaster("spark://192.168.4.134:7077");
    conf.set("spark.cassandra.connection.host", "192.168.4.129");
    conf.set("spark.logConf", "true");
    conf.set("spark.driver.maxResultSize", "50m");
    conf.set("spark.executor.memory", "200m");
    conf.set("spark.eventLog.enabled", "true");
    conf.set("spark.eventLog.dir", "/tmp/");
    conf.set("spark.executor.extraClassPath", "/home/enlighted/ebd.jar");
    conf.set("spark.cores.max", "1");
    JavaSparkContext sc = new JavaSparkContext(conf);


    JavaRDD<String> cassandraRowsRDD = CassandraJavaUtil.javaFunctions(sc).cassandraTable("testing", "ec")
    .map(new Function<CassandraRow, String>() {
        private static final long serialVersionUID = -6263533266898869895L;
        @Override
        public String call(CassandraRow cassandraRow) throws Exception {
            return cassandraRow.toString();
        }
    });
    System.out.println("Data as CassandraRows: \n" + StringUtils.join(cassandraRowsRDD.toArray(), "\n"));
    sc.close();

现在我在第一个节点上启动 master spark，然后在第二个节点上启动 worker，然后我运行上面的代码。它在工作线程上创建了一个执行程序线程，但我在应用程序端日志中看到以下消息：

[Timer-0] WARN org.apache.spark.scheduler.TaskSchedulerImpl  - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

现在保持相同的设置，当我在主服务器上运行 spark/sbin/start-all.sh 时，它会在第一个节点上创建主实例和工作实例。同样，当我运行相同的代码并且分配的工人是这个新工人时，它工作得很好。

我的原始工作程序在与主节点不同的节点上运行可能会出现什么问题？

4

1 回答 1

0

找出了根本原因。Master 随机分配端口给 worker 进行通信。由于 master 上的防火墙，worker 无法向 master 发送消息（可能像资源详细信息）。奇怪的工人甚至都懒得抛出任何错误。

于 2015-08-06T10:38:07.743 回答