0

有人可以帮我解决这个问题，我一直在搜索此信息 2 天，没有运气。

我有一个带有 1 个字段的项目作为另一个项目的列表。蜘蛛工作正常，但在输出文件中我得到了这个项目的所有行。

例如，我需要将 json 打印为：

{"id": "AAAA", "details": [
{"date" : "2013-01-10", type="A"},
{"date" : "2013-02-10", type="B"},
{"date" : "2013-03-10", type="C"},
{"date" : "2013-04-10"}, type="D"]}

但我得到：

{"id": "AAAA", "details": [
{"date" : "2013-01-10", type="A"}]}

{"id": "AAAA", "details": [
{"date" : "2013-01-10", type="A"},
{"date" : "2013-02-10", type="B"}]}

{"id": "AAAA", "details": [
{"date" : "2013-01-10", type="A"},
{"date" : "2013-02-10", type="B"},
{"date" : "2013-03-10", type="C"}
]}

{"id": "AAAA", "details": [
{"date" : "2013-01-10", type="A"},
{"date" : "2013-02-10", type="B"},
{"date" : "2013-03-10", type="C"},
{"date" : "2013-04-10"}, type="D"]}

我使用一个函数来更新我的父项：

def rePackIt(parent, item):
    if 'details' in parent:
        items = parent.get('details')
    else:
        items = []
    items.append(dict(item))
    parent['details'] = items

return parent

在解析函数中我做：

parent = ParentItem()
parent['id'] = self.param   # actually I parse a text file with many IDs
parent['details'] = []

yield FormRequest.from_response(response,
                                    formname='...',
                                    formdata={'...':'...', '...': parent['id'], 
                                              '...':''},
                                    meta = {'parent': parent, 'dont_merge_cookies': True},
                                    callback=self.parse1)


def parse1(self, response):
    parent = response.meta['parent']
    sel = HtmlXPathSelector(response)
    records = sel.select('//ul[@class="...."]')
    for record in records:
        item = DetailItem()
        item['type'] = record.select('child...')
        doc_link = record.select('child.../a/@href').extract()
        yield Request(doc_link,
                              callback=self.parse2,
                              method='GET',
                              headers={...},
                              meta={'dont_merge_cookies': True, 'cookiejar': cookieJar, 'item'  : item, 'parent' : parent}
                          )
  def parse2(self, response):
      item = response.meta['item']
      parent = response.meta['parent']
      sel = HtmlXPathSelector(response)
      # some other parsing code
      item['date'] = cell.select('span[1]/text()[1]').extact()
      rePackIt(parent, item)
      return parent
4

1 回答 1

1

您尝试废弃并输出为 json 的页面具有这种结构

  • MainItem 1 {一些信息}

    • 细节项目 1

    • 细节项目 2

  • 主要项目 2

    • 细节项目 1

    • 细节项目 2

您正在为每个报废的细节项目返回父对象。虽然您的意图是在“完成”之后只返回一次父对象。这意味着您的父母填写了所有详细的项目 1..n。问题是您没有更好的方式来说明何时完成构建父项。

处理此问题的一种方法是编写管道（http://doc.scrapy.org/en/latest/topics/item-pipeline.html）。这听起来可能很复杂，但事实并非如此。

基本上，管道中有三个步骤

open_spider

您创建表单的全局对象

项目列表 = []

进程项

if item is parent then
   add the item to the list 
if item is child then
   find the parentitem from the itemlist
   parentitem["detail"].add(childitem)

close_spider

编写您的 json 序列化并写入所需的文件。一个警告是，如果您正在抓取大量数据，所有抓取的项目都将存在于内存中，直到您使用此方法将它们写入文件，因为您将无法流式写入您的 json 项目。

让我知道这是否有效，或者您是否找到了更好的解决方案。

于 2013-11-01T12:06:04.130 回答