0

我正在使用 Scrapy 抓取网页。我通过使用 xpath Chrome 扩展来获得 XPath 选择器,它工作正常。我在产品页面上得到了我想要的一切,比如描述、价格等。

如果我点击一个项目的小图,会弹出该项目的大图,我想爬取这个大图。但是我用于这个大图像的 Xpath 并没有获取任何东西。此外,当我查看源代码时,它显示它使用 javascript 函数来加载这些弹出图像。有没有办法获取这些图像?

start_urls = ['http://www.flipkart.com/nokia-lumia-620/p/itmdgkwywkmaa2w4?pid=MOBDGH6AKH9ERJAF']

description = hxs.select('/html/body/div[@class=" fkart fksk-body line  "]/div[@id="fk-mainbody-id"]/div[@class="fk-content fksk-content enable-compare line"]/div[@class="fk-mproduct fk-mproduct-mobile "]/div[@class="mprod-section unit"]/div[@id="topsection"]/div[@class="mprod-summary lastUnit"]/div[@class="mprod-summary-title fksk-mprod-summary-title"]/h1/text()').extract()
price = hxs.select('/html/body/div/div/div/div/div/div/div/div/div/div/div/div/span/text()').extract()

image_urls = hxs.select('/html/body/div[@class="fk-ui-dialog fk-popup"]/div[@class="window alpha30 window-absolute"]/div[@class="content"]/div[@class="dialog-body"]/div[@id="pp-large-images-popup"]/div[@class="main-container"]/div[@class="pp-carousel-bd"]/div[@class="visible-image-large fk-text-center"]/img[@id="visible-image-large"]').extract()

结果 :

{'description': [u'Nokia Lumia 620'],
 'image_urls': [],
 'price': u'14999'}
4

1 回答 1

0

要获取小缩略图的图像 url 列表,您可以使用此 XPath:

//div[@class="thumbs thumbs-small"]/img/@src

您可以从缩略图图像的 url 派生大图像的 url。只需替换40x40275x275,您将获得大图像的网址。

于 2013-03-13T17:16:08.417 回答