我注意到 nifi 中没有可用的处理器可以直接将文件存储到 hive 中。是否有任何处理器组合可以帮助解决这个问题,或者是否有任何可用的模板可以做到这一点?
谢谢。
我注意到 nifi 中没有可用的处理器可以直接将文件存储到 hive 中。是否有任何处理器组合可以帮助解决这个问题,或者是否有任何可用的模板可以做到这一点?
谢谢。
在下一版本的 NiFi (0.7.0) 中,将有一些用于与 Hive 交互的初始处理器。其中之一是 PutHiveQL,它可以将带有 Hive QL 语句的流文件作为内容,并使用 hive JDBC 驱动程序执行它。
csv 或 json 的可能流程是首先将数据解析为构造插入语句所需的值,可能使用 ExtractText 或 EvaluateJsonPath,然后使用 ReplaceText 和表达式语言来构造插入语句。
另一种没有 Hive 处理器的常见方法是使用 PutHDFS 处理器将数据存储到 HDFS 中的目录,然后在此之上创建一个外部 Hive 表。