ruby - 使用 Ruby Mechanize 难以访问网站的部分

Question

我正在尝试访问 airbnb 列表中的日历数据，但到目前为止没有成功。我在 Ruby 中使用 Mechanize gem，当我尝试访问链接以访问表时，遇到以下错误：

require 'mechanize'
agent = Mechanize.new
page1=agent.get("https://www.airbnb.com/rooms/726348")
page2=agent.get("https://www.airbnb.com/rooms/calendar_tab_inner2/73944?cal_month=11&cal_year=2013&currency=USD")
Mechanize::ResponseCodeError: 400 => Net::HTTPBadRequest for https://www.airbnb.com/rooms/calendar_tab_inner2/726348?cal_month=11&cal_year=2013&currency=USD -- unhandled response

我还尝试使用以下代码单击生成表格的选项卡，但这样做只是从原始 url 生成 html。

agent = Mechanize.new
page1=agent.get("https://www.airbnb.com/rooms/726348")
page2=agent.click(page1.link_with(:href => '#calendar'))

任何帮助将不胜感激。谢谢！

Answer 1

我看到了问题，您需要检查请求标头：

page = agent.get url, nil, nil,  {'X-Requested-With' => 'XMLHttpRequest'}