0

我有以下代码，应用程序在生成结果后立即结束。

  def textProcess(sc: SparkContext) {

    val baseRDD = sc.textFile("C:\\myDrive\\test.log")    
    val result = baseRDD.map { x => x }.reduce((accum, current) => accum)
    println(result)
    sc.close()   
  }

但是当我使用spark-cassandra-connector对 Cassandra 运行以下代码时，应用程序仅在大约 10 秒延迟后才结束。

  def dbProcess(sc: SparkContext) {

    val baseRDD = sc.cassandraTable("local_test", "configurations")
    val result = baseRDD.map { x => x.getString("keyname") }.reduce((accum,current) => accum)
    println(result)
    sc.close()    
  }

版本详情

Spark 版本为 1.6.x

   <dependency>
        <groupId>com.datastax.spark</groupId>
        <artifactId>spark-cassandra-connector_2.10</artifactId>
        <version>1.6.0</version>
    </dependency>

    <dependency>
        <groupId>com.datastax.cassandra</groupId>
        <artifactId>dse-driver</artifactId>
        <version>1.1.0</version>
    </dependency>

    <dependency>
        <groupId>com.datastax.cassandra</groupId>
        <artifactId>cassandra-driver-core</artifactId>
        <version>3.0.2</version>
    </dependency>

我的问题是，为什么在处理spark-cassandra-connector时会出现这种延迟？有什么办法可以避免这种延迟？还是这是版本问题？（我尝试了其他几个版本，但结果完好无损）

4

1 回答 1

3

为什么在处理 spark-cassandra-connector 时会出现这种延迟？

基本上，差异归结为以下两行：

sc.textFile("C:\\myDrive\\test.log")

和

sc.cassandraTable("local_test", "configurations")

前者是对本地文件的相对便宜的访问，而后者访问远程 Cassandra 集群，这是一项非常繁重的网络操作。

撇开 Cassandra 集群的性能不谈，网络访问肯定比访问本地文件更耗时，不是吗？

于 2017-05-22T17:07:43.527 回答