0

我正在尝试构建一个网络爬虫，但遇到了一些障碍。基本上我正在做的是从网页中提取链接并将每个链接推送到队列中。每当 Ruby 解释器遇到这部分代码时：

links.each do |link|
  url_frontier.push(link)
end

我收到以下错误：

/home/blah/.rvm/rubies/ruby-1.9.3-p0/lib/ruby/1.9.1/net/protocol.rb:141:in `read_nonblock': end of file reached (EOFError)

如果我注释掉上面的代码块，我不会收到任何错误。请，任何帮助将不胜感激。这是其余的代码：

require 'open-uri'
require 'net/http'
require 'uri'

class WebCrawler
  def self.Spider(root)
    eNDCHARS = %{.,'?!:;}
    num_documents = 0
    token_list = []
    url_repository = Hash.new
    url_frontier = Queue.new

    url_frontier.push(root.to_s)
    while !url_frontier.empty? && num_documents < 10
    url = url_frontier.pop
      if !url_repository.has_key?(url)
        document = open(url)
        html = document.read

        # extract url's
        links = URI.extract(html, ['http']).collect { |u| eNDCHARS.index(u[-1]) ? u.chop : u }

        links.each do |link|
          url_frontier.push(link)
        end

        # tokenize
        Tokenizer.tokenize(document).each do |word|
          token_list.push(IndexStructures::Term.new(word, url))
        end

        # add to the repository
        url_repository[url] = true
        num_documents += 1
      end
    end

    # sort by term (primary) and document id (secondary) in reverse to aid in the    construction of the inverted index
    return num_documents, token_list.sort_by! { |term| [term.term, term.document_id]}.reverse!
  end
end
4

1 回答 1

0

我遇到了同样的错误，但使用 Watir-webdriver，在无头模式下运行 firefox。我发现，如果我并行运行两个应用程序并在其中一个应用程序中破坏“无头”应用程序，它会自动杀死另一个应用程序以及您引用的确切错误。尽管我的情况与您的情况不同，但我认为该问题与在您的应用程序仍在使用它时过早地从外部关闭文件句柄有关。我从我的应用程序中删除了 destroy 命令，错误消失了。

希望这可以帮助。

于 2012-10-07T20:01:42.847 回答