当我尝试使用 generate 命令生成 url 时出现以下错误:
GeneratorJob:java.lang.RuntimeException:作业失败:name=generate:1357474131-234134646,在 org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54) 在 org.apache.nutch.crawl 的 jobid=job_local_0001。 GeneratorJob.run(GeneratorJob.java:191) at org.apache.nutch.crawl.GeneratorJob.generate(GeneratorJob.java:213) at org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:241) at org .apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 org.apache.nutch.crawl.GeneratorJob.main(GeneratorJob.java:249)
和工作正常,但generate
有时会出现此错误:fetch
parse
updatedb
线程“主”java.lang.RuntimeException 中的异常:作业失败:在 org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54) 的 org.apache.nutch 的 name=update-table, jobid=job_local_0001。 crawl.DbUpdaterJob.run(DbUpdaterJob.java:98) 在 org.apache.nutch.crawl.DbUpdaterJob.updateTable(DbUpdaterJob.java:105) 在 org.apache.nutch.crawl.DbUpdaterJob.run(DbUpdaterJob.java:119)在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 org.apache.nutch.crawl.DbUpdaterJob.main(DbUpdaterJob.java:123)
现在,它不断给生成作业失败。可能是什么问题?会不会是mysql的问题?