我知道我可以使用 spark 从 nifi 读取并以 parquet 格式写入 hdfs,但是有没有办法直接从 apache-nifi 以 parquet 格式写入 HDFS?请指教
谢谢普拉迪普
我知道我可以使用 spark 从 nifi 读取并以 parquet 格式写入 hdfs,但是有没有办法直接从 apache-nifi 以 parquet 格式写入 HDFS?请指教
谢谢普拉迪普
是的。您可以在 NiFi 中使用PutParquet处理器。您必须以 avro 模式格式为传入的流文件提供模式,并指定转换后的 parquet 文件应保存到的 HDFS 目录。您可以在此处找到详细示例。