ruby - Ruby 文本中的站点地图生成器

Question

我有一些站点，例如http://example.com
我想生成一个站点地图作为 URI 列表，例如：

• http://example.com/main
• http://example.com/tags
• http://example.com/tags/foo
• http://example.com/tags/bar

我找到了一个很好的应用程序：iGooMap
iGooMap 可以将所需的 URI 列表生成为文本文件（不是 XML 文件）。
这是我要实现的目标的视觉表示：

我想在 Ruby（不是Rails）中生成这种类型的站点地图。
我找到了 SiteMapGenerator，但它只生成一个 .XML 文件，但是如上所述我需要一个文本文件。

Ruby 有没有为给定站点创建链接列表的解决方案？

Answer 1

你想要的不是 Ruby 中的站点地图生成器，而是 Ruby 中的网络蜘蛛。我推荐海葵

require 'anemone'

links = []

Anemone.crawl("http://www.foo.com/") do |anemone|
  anemone.on_every_page do |page|
      links << page.url
  end
end

File.open('./link_list.txt', 'wb'){|f| f.write links.join("\n") }

这会产生一个名为的文件link_list.txt，其内容如下：

http://www.foo.com/
http://www.foo.com/digimedia_privacy_policy.html

还有Wombat、Spidr、Pioneer等等。

---

编辑：正如@ChrisCummings 所建议的，使用 aSet而不是a 可能是一个更好的主意，Array以防止重复。我还建议按字母顺序对链接进行排序，这将使输出文件更易于人类阅读：

require 'anemone'
require 'set'

links = Set.new                                    # Set will prevent duplicates

Anemone.crawl("http://www.foo.com/") do |anemone|
  anemone.on_every_page do |page|
    links << page.url.to_s                         # to_s needed in order to sort
  end
end

File.open('./link_list.txt', 'wb') do |f|
  f.write links.sort.join("\n")                    # call to sort added
end

Answer 2

您可以使用自定义适配器进行扩展sitemap_generator，例如：

require 'sitemap_generator'
require 'nokogiri'

module SitemapGenerator
  class TextFileAdapter
    def write(location, raw_data)
      # Ensure that the directory exists
      dir = location.directory
      if !File.exists?(dir)
        FileUtils.mkdir_p(dir)
      elsif !File.directory?(dir)
        raise SitemapError.new("#{dir} should be a directory!")
      end

      doc = Nokogiri::XML( raw_data )
      txt = doc.css('url loc').map(&:text).join("\n")

      open(location.path, 'wb') do |f|
        f.write(txt)
      end
    end
  end
end

SitemapGenerator::Sitemap.default_host = 'http://example.com'
SitemapGenerator::Sitemap.create(
  :adapter => SitemapGenerator::TextFileAdapter.new,
  :sitemaps_namer => SitemapGenerator::SitemapNamer.new(:sitemap, :extension => '.txt')
) do
  add '/home', :changefreq => 'daily', :priority => 0.9
  add '/contact_us', :changefreq => 'weekly'
end
SitemapGenerator::Sitemap.ping_search_engines

这会产生一个文件public/sitemap1.txt：

http://example.com
http://example.com/home
http://example.com/contact_us