我正在使用 Scrapy 抓取网页。我通过使用 xpath Chrome 扩展来获得 XPath 选择器,它工作正常。我在产品页面上得到了我想要的一切,比如描述、价格等。
如果我点击一个项目的小图,会弹出该项目的大图,我想爬取这个大图。但是我用于这个大图像的 Xpath 并没有获取任何东西。此外,当我查看源代码时,它显示它使用 javascript 函数来加载这些弹出图像。有没有办法获取这些图像?
start_urls = ['http://www.flipkart.com/nokia-lumia-620/p/itmdgkwywkmaa2w4?pid=MOBDGH6AKH9ERJAF']
description = hxs.select('/html/body/div[@class=" fkart fksk-body line "]/div[@id="fk-mainbody-id"]/div[@class="fk-content fksk-content enable-compare line"]/div[@class="fk-mproduct fk-mproduct-mobile "]/div[@class="mprod-section unit"]/div[@id="topsection"]/div[@class="mprod-summary lastUnit"]/div[@class="mprod-summary-title fksk-mprod-summary-title"]/h1/text()').extract()
price = hxs.select('/html/body/div/div/div/div/div/div/div/div/div/div/div/div/span/text()').extract()
image_urls = hxs.select('/html/body/div[@class="fk-ui-dialog fk-popup"]/div[@class="window alpha30 window-absolute"]/div[@class="content"]/div[@class="dialog-body"]/div[@id="pp-large-images-popup"]/div[@class="main-container"]/div[@class="pp-carousel-bd"]/div[@class="visible-image-large fk-text-center"]/img[@id="visible-image-large"]').extract()
结果 :
{'description': [u'Nokia Lumia 620'],
'image_urls': [],
'price': u'14999'}