amazon-web-services - aws 胶水中 SerDeInfo 的完整参数列表是什么？

Question

这是描述SerDeInfo参数的链接。他们定义parameters为地图，但他们期望什么键和值？有一些例子，例如：

"SerdeInfo": {
  "SerializationLibrary": "org.apache.hadoop.hive.serde2.OpenCSVSerde",
  "Parameters": {
    "field.delim": ",",
    "serialization.format": "1"
  }
},

但是完整的清单是什么？

Answer 1

我认为您必须查看 Apache Hive 文档以了解每种类型的 Serializer/Deserializer 的详细信息。例如对于 OpenCSVSerde：

https://hive.apache.org/javadocs/r2.1.1/api/org/apache/hadoop/hive/serde2/OpenCSVSerde.html

根据我对Java的初步了解，我认为可以设置四个参数：

• 日志
• 分隔符
• 快车
• 转义符

从Athena 的 AWS 文档中，我们得到了这个提示：

为 separatorChar、quoteChar 和 escapeChar 输入适当的值。separatorChar 值是逗号，quoteChar 值是双引号（``），escapeChar 值是反斜杠（）。

因此，您似乎应该使用lowerCamelCaseJava 字段的版本。尽管我从未见过 Glue 文档中记录的约定。