1

Solr 和 Nutch 已经在本地设置（在不同的目录上），我希望抓取一个 URL，对其进行索引，然后将该索引集成到 Solr 中。

在终端上运行此爬网：

                $ bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5

在命令行上报告此错误：

                Exception in thread "main" java.io.IOException: Job failed!
                        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357)
                        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:123)
                        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:81)
                        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:65)
                        at org.apache.nutch.crawl.Crawl.run(Crawl.java:155)
                        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
                        at org.apache.nutch.crawl.Crawl.main(Crawl.java:55)

也就是说，在我尝试集成时，我运行了这个命令：

                $ bin/nutch solrindex http://localhost:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

在命令行上报告此错误：

                2013-10-23 13:23:38.347 java[15444:1203] Unable to load realm info from SCDynamicStore
                Indexer: java.io.IOException: Job failed!
                        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357)
                        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:123)
                        at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:185)
                        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
                        at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:195)

我的环境和app版本如下：

  • Nutch 1.7
  • 索尔 4.5
  • MAC OSX (10.8.5)
  • java版本“1.6.0_51”

建议将不胜感激。

4

2 回答 2

0

Mrkreyes 先生，你的问题的关键有答案吗？

于 2015-03-18T11:30:36.523 回答
0

我有同样的问题，我通过在命令中包含核心解决了这个问题

  1. 找到你的核心名称

    1a。转到http://localhost:8983/solr

    1b。在左侧导航中，有一个名为“Core Selector”的下拉菜单，点击菜单可以看到 Solr 内核列表。

    1c。写下核心名称。（例如：集合 1）

  2. 将核心名称放在命令中

    2a。$ bin/nutch solrindex http://localhost:8983/solr/ collection1 crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

于 2015-09-30T19:13:55.380 回答