scrapy - scrapy中的飞溅问题

Question

大家好，我看到很多关于这个的问题。我知道javascript动态页面将使用scrapyjs或webdriver（如selenium或phantomjs）呈现。webdriverkit 有点慢。我希望有人在此链接中指导我

查看交易按钮之前的价格信息。我不知道要使用哪个 js 执行此操作splash，scrapyjs有人可以帮助我获取此链接。

提前致谢。

编辑

根据 andres 的回复，我重新创建了 XHR 请求。当我们在浏览器窗口中输入 XHR 请求 url 时，因为它是一个 GET 方法，如果第一次点击我得到部分 json 输出。如果我们下次点击重新加载，它会加载更多看起来很奇怪的数据。任何人都可以帮助我。提前致谢

Answer 1

当您请求此 URL 时：

http://ar.trivago.com/?iPathId=38715&iGeoDistanceItem=47160&aDateRange%5Barr%5D=2016-01-01&aDateRange%5Bdep%5D=2016-01-02&iRoomType=7&tgs=4716002&aHotelTestClassifier=&aPriceRange%5B%5%5D=0&aPrice %5D=0&iIncludeAll=0&iGeoDistanceLimit=20000&aPartner=&iViewType=0&bIsSeoPage=false&bIsSitemap=false&

发出 XHR 请求以：

http://ar.trivago.com/search/region?iPathId=38715&bDispMoreFilter=false&iSlideOutItem=47160&aDateRange%5Barr%5D=2016-01-01&aDateRange%5Bdep%5D=2016-01-02&aCategoryRange=0%2C1%2C2%2C3% 2C4%2C5&iRoomType=7&sOrderBy=relevance%20desc&aPartner=&aOverallLiking=1%2C2%2C3%2C4%2C5&iGeoDistanceLimit=20000&iOffset=0&iLimit=25&iIncludeAll=0&bTopDealsOnly=false&iViewType=0&aPriceRange%5Bfrom%5D=0&aPriceRange%5Bto%5D=0&iGeoDistanceItem=47160&aGeoCode%5Blng% 5D=-0.1589&aGeoCode%5Blat%5D=51.513802&bIsSeoPage=false&mgo=false&bHotelTestContext=false&th=false&aHotelTestClassifier=&bSharedRooms=false&bIsSitemap=false&rp=&sSemKeywordInfo=&tgs=4716002&bRecommendedItem=false&iFilterTab=0&&_=14466

在哪里可以找到这些值（JSON 格式）：

哪些是这里显示的：

所以我认为你不需要任何 ScrapyJS 或 PhantomJS 来抓取这些信息。只需了解它从哪里获取信息并直接抓取端点。