python - items.py 和带有scrapy的嵌套xml标签

Question

我正在尝试使用 scrapy 定义 items.py 中的项目，并且某些标签具有可变数量的嵌套元素。我不确定如何在 items.py 示例中表示这一点：

item2.xml

<sponsors>
    <sponsor>
        foo
    </sponsor>
</sponsors>

item2.xml

<sponsors>
    <sponsor>
        foo
    </sponsor>
    <sponsor>
        bar
    </sponsor>
</sponsors>

Answer 1

Scrapy 的项目字段不会强迫你使用任何特定的格式。你可以定义它：

class YourItem(Item):
    sponsors = Field()

只需使用一个列表：

item['sponsors'] = xpath.select('//sponsors/sponsor/text()').extract()