0

我必须抓取以下url，其中基本上包含评论。那里的所有评论都有评论作者姓名、评论标题和评论本身。

我选择了“python-scrapy”来完成这项任务。

但是提到的url不是起始url，我将从基本parse方法中获取它。在解析中，我将初始化一个itemLoder. 我将在那里提取一些项目并通过meta响应传递项目。（提取的字段包含酒店名称、地址、价格等信息......）

我还声明了项目，即“review_member_name”、“review_quote”、“review_review”

页面中有多个评论，评论的评论 ID 可以从response.url. （在下面的解析方法中显示）

由于有许多评论并且所有评论都将共享相同的项目名称，因此项目会被连接起来，这不应该发生。任何人都可以建议我解决这个问题的方法吗？

以下是我的 parse_review 来源。

def parse_review(self,response):
    review_nos = re.search(".*www\.tripadvisor\.in/ExpandedUserReviews-.*context=1&reviews=(.+)&servlet=Hotel_Review&expand=1",response.url).group(1)
    review_nos = review_nos.split(',') # list of review ids

    for review_no in review_nos:
        item = response.meta['item']
        #item = ItemLoader(item=TripadvisorItem(), response=response) - this works fine but I will lose the items from parse method
        div_id = "expanded_review_"+review_no
        review = response.xpath('/html/body/div[@id="%s"]'%div_id)
        member_name = review.xpath('.//div[@class="member_info"]//div[@class="username mo"]//text()').extract()
        if member_name:
            item.add_value('review_member_name', member_name)

        review_quote = review.xpath('.//div[@class="innerBubble"]/div[@class="quote"]//text()').extract()
        if review_quote:
            item.add_value('review_quote', review_quote)

        review_entry = review.xpath('.//div[@class="innerBubble"]/div[@class="entry"]//text()').extract()
        if review_entry:
            item.add_value('review_review', review_entry)

        yield item.load_item()

以下是我的 items.json（“review_review”正在被删除，并且 parse 方法中的项目也被删除）

[{"review_quote": "\u201c Fabulous service \u201d", "review_member_name": "VimalPrakash"}, {"review_quote": "\u201c Fabulous service \u201d \u201c Indian hospitality at its best, and honestly the best coffee in India \u201d", "review_member_name": "VimalPrakash Jessica P"}, {"review_quote": "\u201c Fabulous service \u201d \u201c Indian hospitality at its best, and honestly the best coffee in India \u201d \u201c Nice hotel in a central location \u201d", "review_member_name": "VimalPrakash Jessica P VikInd"}]

请为这个问题提出一个好的标题。

4

1 回答 1

0

您必须先创建一个新的ItemLoader，然后再进行add_value操作；现在您正在创建一个项目，并在循环中一次又一次地向它添加新值。

for review_no in review_nos:
    item = ItemLoader(item=projectItem(), response=response)

    ...

    yield item.load_item()

您也可以.add_xpath直接与您提供的 xpath 一起使用，并response.xpath在创建 时用作项目的选择器ItemLoader，这样您就可以避免所有 if 测试并让加载做它应该做的事情：加载项目。

于 2014-07-15T11:36:49.537 回答