python - 当类包含空格时获取空数组

Question

蟒蛇 2.7

我想获取每个新的背景图片 url 和标题，但是当我尝试获取图片 url 时，我使用 xpath 总是得到空数组。

这是我尝试的：

scrapy shell http://www.wownews.tw/fashion/movie

进而

response.body

我可以在终端上看到 html 数据。但是当我输入

response.xpath('//div[@class="text ng-scope"]')

得到空数组，我认为它应该可以工作。

问题发生是因为类包含空格吗？

如何解决？任何帮助，将不胜感激。

我尝试命令仍然得到空数组

response.xpath('//div[contains(concat(" ", normalize-space(@class), " "), "text ng-scope")]')

Answer 1

这里有你需要的一切

import json
import scrapy


class ListingSpider(scrapy.Spider):
    name = 'listing'

    start_urls = ['http://api.wownews.tw/f/pages/site/558fd617913b0c11001d003d?category=5590a6a3f0a8bf110060914d&children=true&limit=48&page=1']

    def parse(self, response):
        items = json.loads(response.body)['results']

        for item in items:
            yield item

参考https://medium.com/@yashpokar/scrape-any-website-in-the-internet-without-using-splash-or-selenium-68a6c9733369