我是 NIFI 的新手，我的用例是从端口读取并以 parquet 格式写入 hdfs，我的研究表明有一种叫做 KiteSDK 的东西，我可以用它保存为 Parquet 格式。对吗？请指教。任何例子都会有所帮助。
问问题
802 次
2 回答
0
Apache NiFi 中肯定有可用的处理器来帮助你走上这条路。ListenTCP 可以从套接字捕获数据。您可以根据您的数据类型潜在地使用一些转换处理器来隐藏它。不确定是否直接支持 Parquet 作为输出格式。当然也支持到 HDFS 的交付。对于缺少的部分，您可以在 apache 社区中创建一个 JIRA，或者提交一份贡献，或者使用 ExecuteScript 编写一个内联脚本。很多选择。
谢谢乔
于 2016-05-11T18:29:45.320 回答
0
您可以使用NiFi 的 PutParquet 处理器来执行此操作。（在“过滤器输入字段”中键入 PutParquet：超链接下Processors。）
于 2017-11-14T12:07:49.550 回答