2

我有一个公司数据集（全球），其中有许多具有外国名称的公司。

我首先使用以下方法导入镶木地板数据：

val df = spark.read.format("parquet").load("import path").

我做了一些过滤和操作，当我将数据写入 csv 时，即使我指定了编码，它也会显示奇怪的符号。

  • Sanitär Wirth
  • 基茨比厄尔乡村俱乐部
  • Hotelová Å¡kola SvÄ›tlá a StÅ™ednà odb。Å¡kola Å™埃梅塞尔

我将如何导出数据以便准确表示外来字符？

df.coalesce(1).
        write.
        mode(SaveMode.Overwrite).
        format("csv").
        option("header", true).
        option("encoding", "UTF-8").
        partitionBy("Region").
        save("path")
4

2 回答 2

1

我认为您必须为德语字符指定正确的编码。或者您正在打开的编辑器通过自己的编码破坏了字符（可能是编辑器错误）。通常，utf-8 和 iso-8859 都会以相同的方式进行编码。在与@GP聊天后，我也以 utf-8 格式测试了以下代码。输出与使用 intellijeditor 打开生成的文本文件相同。

更新/结论：使用iso或utf-8的以下方式应该以相同的方式工作。那可能是他打开的 OPS 文本编辑器可能会导致此问题。问题根本不是问题。

 df.coalesce(1).
    write.
    mode(SaveMode.Overwrite).
    format("csv").
    option("header", true).
   .option("encoding", "ISO-8859-1") 
    partitionBy("Region").
    save("path")

采集样本德语字符数据并在文件系统中再次保存为 csv 这是示例和代码。

package examples

import org.apache.log4j.Level
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
object GermanCSV extends App {
  val logger = org.apache.log4j.Logger.getLogger("org")
  logger.setLevel(Level.WARN)

  val spark = SparkSession.builder().appName(this.getClass.getName).master("local").getOrCreate()

  import spark.implicits._

  val mycsvdata =
    """
      |rank,freq,Infinitiv,Unreg,Trans,"Präsens_ich","Präsens_du","Präsens_er, sie, es","Präteritum_ich","Partizip II","Konjunktiv II_ich","Imperativ Singular","Imperativ Plural",Hilfsverb
      |3,3796784,sein,"","",bin,bist,ist,war,gewesen,"wäre",sei,seid,sein
      |8,1618550,haben,"","",habe,hast,hat,hatte,gehabt,"hätte",habe,habt,haben
      |10,1379496,einen,"","",eine,einst,eint,einte,geeint,einte,eine,eint,haben
      |12,948246,werden,"","",werde,wirst,wird,wurde,geworden,"würde",werde,werdet,sein
    """.stripMargin.lines.toList.toDS


  val csvdf: DataFrame = spark.read.option("header", true)
    .option("header", true)
    .csv(mycsvdata)

  println("orginal data")
  csvdf.show(false)

  println("Writing in to a csv file with ISO-8859-1 encoding way , handling german characters")

  csvdf.coalesce(1).
    write.
    mode(SaveMode.Overwrite).
    format("csv").
    option("header", true)
    .option("encoding", "ISO-8859-1")
    .save("data/iso8859-1")
 }

结果 ：

[2020-04-22 10:26:36,598] WARN Unable to load native-hadoop library for your platform... using builtin-java classes where applicable (org.apache.hadoop.util.NativeCodeLoader:62)
orginal data
+----+-------+---------+-----+-----+-----------+----------+-------------------+--------------+-----------+-----------------+------------------+----------------+---------+
|rank|freq   |Infinitiv|Unreg|Trans|Präsens_ich|Präsens_du|Präsens_er, sie, es|Präteritum_ich|Partizip II|Konjunktiv II_ich|Imperativ Singular|Imperativ Plural|Hilfsverb|
+----+-------+---------+-----+-----+-----------+----------+-------------------+--------------+-----------+-----------------+------------------+----------------+---------+
|3   |3796784|sein     |null |null |bin        |bist      |ist                |war           |gewesen    |wäre             |sei               |seid            |sein     |
|8   |1618550|haben    |null |null |habe       |hast      |hat                |hatte         |gehabt     |hätte            |habe              |habt            |haben    |
|10  |1379496|einen    |null |null |eine       |einst     |eint               |einte         |geeint     |einte            |eine              |eint            |haben    |
|12  |948246 |werden   |null |null |werde      |wirst     |wird               |wurde         |geworden   |würde            |werde             |werdet          |sein     |
+----+-------+---------+-----+-----+-----------+----------+-------------------+--------------+-----------+-----------------+------------------+----------------+---------+

Writing in to a csv file with ISO-8859-1 encoding way , handling german characters

根据代码保存 csvdata/iso8859-1不更改数据...如下所示：

rank,freq,Infinitiv,Unreg,Trans,Präsens_ich,Präsens_du,"Präsens_er, sie, es",Präteritum_ich,Partizip II,Konjunktiv II_ich,Imperativ Singular,Imperativ Plural,Hilfsverb
3,3796784,sein,"","",bin,bist,ist,war,gewesen,wäre,sei,seid,sein
8,1618550,haben,"","",habe,hast,hat,hatte,gehabt,hätte,habe,habt,haben
10,1379496,einen,"","",eine,einst,eint,einte,geeint,einte,eine,eint,haben
12,948246,werden,"","",werde,wirst,wird,wurde,geworden,würde,werde,werdet,sein
于 2020-04-22T02:55:02.983 回答
0

您使用的是哪个 Apache Spark 版本？正如您在2.4.0的官方文档与 2.3.4 的官方文档中看到的那样，编码选项自 2.4.0 起就可用。

此外，根据上面引用的文档，如果它是 ，则不需要设置编码UTF-8，因为它实际上是默认编码。

于 2020-04-20T20:54:18.893 回答