有没有人觉得在 Pig 0.11 上运行脚本很慢？我已经在猪 0.11 和猪 0.8 的相同环境中运行脚本。Pig 0.8 总是更快。
注释 ？
问问题
172 次
1 回答
0
会不会是因为你的LOAD语句USING PigStorage()匹配了很多文件？PigStorage()默认情况下，Pig 0.11 会检查 HDFS 上的模式文件以查找匹配的文件。如果您正在阅读大量文件，这可能会使其非常慢。
使用x = LOAD '...' USING PigStorage('...','-noschema'). 使用-noschema将避免查找模式文件，您应该恢复速度。
更多信息在这里。
于 2013-03-19T14:02:51.313 回答