5

我尝试获取网页的代码 html，但网络包含一些 javascript 代码，这些代码会生成一些我需要的数据。

http = Net::HTTP.new('localhost')
path = '/files.php'

# POST request -> logging in
data = ''
headers = {
   'Referer' =>  'http://localhost:8080/files.php',
   'User-Agent' => 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0',
   'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language' => 'es-ES,es;q=0.8,en-US;q=0.5,en;q=0.3',
   'Content-Encoding' => 'gzip, deflate',
   'Connection' => 'keep-alive',
   'Cookie' => ''
}

resp, data = http.post(path, data, headers)

puts resp.body

但这只会返回 html 而不会评估 javascript。我想在评估页面的 javascript 后获得最终的 html。

4

2 回答 2

1

在启用 JavaScript 的情况下进行抓取很难。基本上，如果你想可靠地做到这一点，你需要能够完全模拟浏览器。

幸运的是，有一些宝石可以做到这一点。您可以将Capybara与 Selenium 等支持 JavaScript 的驱动程序一起使用。例如（改编自这篇博文）：

require "capybara"
require "capybara/dsl"

Capybara.run_server = false
Capybara.current_driver = :selenium
Capybara.app_host = "http://www.google.com/"

class Scraper
  include Capybara::DSL

  def scrape
    visit('/')
    fill_in "q", :with => "Capybara"
    click_button "Google Search"
    all(:xpath, "//li[@class='g']/h3/a").each { |a| puts a[:href] }
  end
end

如果 Selenium 不是您喜欢的，那么还有其他的 JavaScript 驱动程序（它实际上使您的浏览器自动化，例如 Firefox，而不是实现一个单独的“无头”浏览器自己的浏览器）。例如，请参阅capybara-webkit或poltergeist，了解无头浏览器驱动程序。

于 2013-01-06T20:51:31.717 回答
0

假设：您的 Javascript 存在于页面上的单个标记中。否则你将不得不通过寻找你想要的每一位 js 来解析。您想要的 gem 称为“therubyracer”，它将 google 的 v8 javascript 执行引擎嵌入到您的 ruby​​ 中。

转到您的命令行并安装 therubyracer

 gem install therubyracer

然后：

 require 'v8'

 data = ''
 headers = {
    'Referer' =>  'http://localhost:8080/files.php',
    'User-Agent' => 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0',
    'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language' => 'es-ES,es;q=0.8,en-US;q=0.5,en;q=0.3',
    'Content-Encoding' => 'gzip, deflate',
    'Connection' => 'keep-alive',
    'Cookie' => ''
 }

 resp, data = http.post(path, data, headers)

 js = resp[resp.index('<script')..resp.index('</script>')]
 js = js[js.index('/>')..-1]

 cxt = V8::Context.new
 result = cxt.eval(js)
 puts result
于 2013-01-06T20:33:37.607 回答