python - 您如何报告 Python UDF（用于 Pig）的进度？

Question

以下是 Java UDF 的说明，但我想从 Python UDF 执行此操作。

Answer 1

您可以尝试获取以下实例PigProgressable：

myudf.py

from time import sleep
from org.apache.pig.tools.pigstats import PigStatusReporter

@outputSchema('i:int')
def tester(foo):
    # Sleeps for a total of 3 minutes

    e = PigStatusReporter.getInstance()
    e.progress()
    sleep(60)
    e.progress()
    sleep(60)
    e.progress()
    sleep(60)
    e.progress()

    return 1

我的脚本.pig

-- Waits for 1.6 minutes before killing the job
SET mapred.task.timeout 100000 ;

register 'myudf.py' using jython as myudf ;
A = LOAD '$input' AS (foo:chararray) ;
B = FOREACH A GENERATE myudf.tester(foo) ;

e.progress()这个例子只有在实际发出心跳时才会成功，否则会超时。我在猪 0.10 上通过了这个测试。