apache-nifi - Nifi 自定义处理器异常

Question

我正在使用 Nifi 0.4.1 版本。我正在编写自定义代码以将 CSV 转换为 avro 格式。我已经创建了类文件并能够生成 nar 文件。将 nar 文件放在 lib 目录中并重新启动 nifi 服务器。

class 文件没有任何错误或警告。

在 nifi 工作区中拖动处理器时，无法看到为将 csv 转换为 avro 而创建的类。

任何帮助表示赞赏..

谢谢，

Answer 1

您可以检查一些事项来诊断您的处理器问题：

1. 提供者配置文件
2. 处理器类
3. lib目录中的NAR
4. nifi-app.log 中的 ExtensionManager 条目
5. nifi-app.log 中的错误

听起来您已经检查了一些，但请确认所有这些：

提供者配置文件

您的处理器必须在与 Java 代码相同的 nar 文件中的服务配置文件中引用。该文件将命名为org.apache.nifi.processor.Processor，并且每行处理器实现将包含一个完全限定的类名。查看一个示例很有帮助，例如nifi-solr-processors 的此提供程序配置。

org.apache.nifi.processors.solr.PutSolrContentStream
org.apache.nifi.processors.solr.GetSolr

处理器类

确保您的处理器类是公共的、实现org.apache.nifi.processor.Processor、继承自org.apache.nifi.processor.AbstractProcessor或从另一个处理器实现。您应该确保完全限定的类名与上面的提供程序配置文件匹配。

public abstract class SolrProcessor extends AbstractProcessor {
...
public class GetSolr extends SolrProcessor {
...
public class PutSolrContentStream extends SolrProcessor {
...

lib目录中的 NAR

您的 nar 文件应放在 NiFi 安装的 lib 目录中。如果这在您的设置中很重要，请确保 NiFi 用户对其具有权限。听起来你已经检查过了。

nifi-app.log 中的 ExtensionManager 条目

启动 NiFi 后，查看logs/nifi-app.log. ExtensionManager 将输出从 lib 目录中找到并加载的所有扩展的列表。它看起来像这样（编辑长度）：

org.apache.nifi.nar.ExtensionManager Extension Type Mapping to Classloader:
=== ControllerService type || Classloader ===
org.apache.nifi.processors.aws.credentials.provider.service.AWSCredentialsProviderControllerService || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-aws-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.distributed.cache.server.DistributedSetCacheServer || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-distributed-cache-services-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.distributed.cache.client.DistributedSetCacheClientService || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-distributed-cache-services-nar-0.6.0-SNAPSHOT.nar-unpacked]
...
=== End ControllerService types ===
=== Processor type || Classloader ===
org.apache.nifi.processors.standard.GetHTTP || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-standard-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.script.ExecuteScript || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-scripting-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.aws.s3.DeleteS3Object || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-aws-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.standard.ExecuteSQL || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-standard-nar-0.6.0-SNAPSHOT.nar-unpacked]
org.apache.nifi.processors.mongodb.GetMongo || org.apache.nifi.nar.NarClassLoader[.\work\nar\extensions\nifi-mongodb-nar-0.6.0-SNAPSHOT.nar-unpacked]
...

您希望在此列表中找到您的处理器、控制器服务或报告任务。

nifi-app.log 中的错误

如果找到并加载，可能还会在您的代码被执行时抛出异常，这也将出现在nifi-app.log. 例如，如果您在提供程序配置文件中放置了错误的类名，则会收到此“找不到提供程序”错误：

java.util.ServiceConfigurationError: org.apache.nifi.processor.Processor: Provider org.apache.nifi.processors.test.TestProcessor not found
    at java.util.ServiceLoader.fail(ServiceLoader.java:239) ~[na:1.8.0_65]
    at java.util.ServiceLoader.access$300(ServiceLoader.java:185) ~[na:1.8.0_65]
    at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:372) ~[na:1.8.0_65]
    at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:404) ~[na:1.8.0_65]
    at java.util.ServiceLoader$1.next(ServiceLoader.java:480) ~[na:1.8.0_65]
    at org.apache.nifi.nar.ExtensionManager.loadExtensions(ExtensionManager.java:107) ~[nifi-nar-utils-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]
    at org.apache.nifi.nar.ExtensionManager.discoverExtensions(ExtensionManager.java:88) ~[nifi-nar-utils-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]
    at org.apache.nifi.NiFi.<init>(NiFi.java:120) ~[nifi-runtime-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]
    at org.apache.nifi.NiFi.main(NiFi.java:227) ~[nifi-runtime-0.6.0-SNAPSHOT.jar:0.6.0-SNAPSHOT]