python-2.7 - 如何将 Pyquery 与 scrapy 一起使用？

Question

我的目标是将pyquery与scrapy一起使用，显然是从scrapy.selector import PyQuerySelector返回ImportError: cannot import name PyQuerySelector when I crawl the spider。

我按照这个特定的要点https://gist.github.com/joehillen/795180来实现 pyquery。

有什么建议或教程可以帮助我完成这项工作吗？

Answer 1

您声明一个类并制定您的规则，并在规则提取器的回调属性中默认提供 parse_item，scrapy go parse() 函数

def parse_item(self, response):
    pyquery_obj = PyQuery(response.body)
    header = self.get_header(pyquery_obj)
    return {
        'header': header,
    }


def get_header(self, pyquery_obj):
    return pyquery_obj('#page_head').text()