问题标签 [pig-udf]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - 解析失败：无法实例化 '' 使用 UDFContext 进行 json 解析时参数为 'null'
我收到以下错误：
当然，在不使用 UDFContext 的情况下解析 json 时不会出错。
方法是这样写的：
我在本地运行时没有出错，但在服务器上运行时出错。
hadoop - Pig 作业因“org.apache.hadoop.mapreduce.counters.LimitExceededException：太多计数器：121 max=120”而失败
我们正在处理 5000 万条数据，最后处理后我们在 pig 脚本中使用 rank 函数，而 pig 作业在执行 rank 函数时失败，我们得到以下错误：“org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器太多：121 max=120"
我们在 pig 脚本中使用了以下命令，但仍然遇到相同的错误：
设置 mapreduce.job.counters.max 1000
如果有人能帮我解决这个错误，或者可以为我提供在 50+百万处理数据上使用排名函数的替代方法，我将不胜感激。
spring - 我们可以对 Pig UDF 进行 bean 注入吗
我在运行 Pig 脚本的项目中使用 Spring Boot。我已经定义了一个 Pig UDF。我想知道是否可以将 bean 注入这个 UDF 类。UDF 类是这样的： 现在工作的 UDF 如下所示：
我想知道我是否可以将实例化留给instanceAspring容器？我试过了
并且还定义了一个构造函数，但这两种方法都不起作用。是因为这instanceA应该是静态的吗？
有没有办法在 Pig UDF 中使用 Bean 工厂？