我想用性能计数器(perf)来衡量 flinks 的性能。我的代码:
var text = env.readTextFile("<filename>")
var counts = text.flatMap { _.toLowerCase.split("\\W+") }.map { (_, 1) }.groupBy(0).sum(1)
counts.writeAsText("<filename_result>", WriteMode.OVERWRITE)
env.execute()
我知道jobmanager的PID。我还可以看到在执行期间运行 execute() 命令的线程(链数据源)的 TID。但是对于每次执行,TID 都会发生变化,因此它不会与 TID 一起使用。有没有办法找出运行execute()命令的jobmanagers子进程的PID?rdd 的每个转换(例如 flatMap)是否有不同的子进程?如果是这样,是否有可能找出它们不同的 PID?