hadoop - 如何通过 Deliminator 拆分 Spark RDD 的行

Question

我正在尝试将 Spark 中的数据拆分为Array[String]. 目前我已将文件加载到String.

> val csvFile = textFile("/input/spam.csv")

我想在分隔符上拆分,。

Answer 1

这：

val csvFile = textFile("/input/spam.csv").map(line => line.split(","))

回报你RDD[Array[String]]。

如果您需要第一列，RDD则使用map函数仅返回数组中的第一个索引：

  val firstCol = csvFile.map(_.(0))

Answer 2

您应该使用spark-csv库，它能够解析您的文件并考虑标题并允许您指定分隔符。此外，它在推断模式方面做得很好。我会让您阅读文档以发现可供您使用的大量选项。

这可能看起来像这样：

sqlContext.read.format("com.databricks.spark.csv")
.option("header","true")
.option("delimiter","your delimitor")
.load(pathToFile)

.rdd请注意，这会返回一个 DataFrame，您可能必须使用函数将其转换为 rdd 。

当然，您必须将包加载到驱动程序中才能使其工作。

Answer 3

// create spark session
val spark = org.apache.spark.sql.SparkSession.builder
        .master("local")
        .appName("Spark CSV Reader")
        .getOrCreate;

// read csv
val df = spark.read
         .format("csv")
         .option("header", "true") //reading the headers
         .option("mode", "DROPMALFORMED")
         .option("delimiter", ",")
         .load("/your/csv/dir/simplecsv.csv")

// convert dataframe to rdd[row]
val rddRow = df.rdd
// print 2 rows
rddRow.take(2)

// convert df to rdd[string] for specific column
val oneColumn = df.select("colName").as[(String)].rdd
oneColumn.take(2)

// convert df to rdd[string] for multiple columns
val multiColumn = df.select("col1Name","col2Name").as[(String, String)].rdd
multiColumn.take(2)