1

我正在使用 AbInitio 并尝试将输入表中的查询结果填充到 hdfs 中。我想要镶木地板的格式。我尝试使用 dml 来配置文本，但以下是我的结果，我不确定这意味着什么。

$ dml-to-hive text $AI_DML/myprojectdml.dml
Usage: dml-to-avro <record_format> <output_file>

   or: dml-to-avro help

  <record-format> is one of:
       <filename>           Read record format from file
       -string <string>     Read record format from string

  <output_file> is one of:
       <filename>           Output Avro schema to file
       -                    Output Avro schema to standard output

我也尝试使用 Write Hive Table 组件，但收到以下错误：

[B276]
The internal charset "XXcharset_NONE" was encountered when a valid character set data
structure was expected.   One possible cause of this error is that you specified a 
character set to the Co>Operating System that is misspelled or otherwise incorrect.
If you cannot resolve the error please contact Customer Support.

任何帮助都会很棒，我正在尝试将我的输出输出到镶木地板中的 hdfs。

谢谢，克里斯·理查森

4

1 回答 1

2

我知道这是一个迟到的答复，但是如果您仍在处理此问题，或者其他人像我一样偶然发现了此问题，我想我已经找到了解决方案。

我使用 dml-to-hive 为 parquet 格式创建 DML 并将其写入文件。

dml-to-hive parquet current.dml > parquet.dml

创建此 dml 后，您可以在“Write HDFS”组件的输入端口上使用它。双击组件，转到端口选项卡，单击单选按钮“使用文件”，然后将其指向 parquet.dml

然后，只需将 WRITE_FORMAT 选项设置为 parquet 并试一试。我能够使用上述过程创建 parquet、orc 和 avro 文件。

于 2020-07-08T16:45:07.890 回答