python - scrapy django 使用抓取的数据更新数据库

Question

我目前有抓取 XML 提要并使用 django 模型将信息存储在 postgres 数据库中的抓取蜘蛛。

这一切都完美无缺，并获得了我想要的确切信息。问题是数据库需要每天更新一次新信息、更改信息或删除不再存在的信息。

所以基本上当蜘蛛运行时我希望它检查它是否已经在数据库中，如果它是完全相同的信息然后忽略它，如果信息改变了它或者它不再存在，删除信息。

我似乎无法弄清楚如何做到这一点。任何想法将不胜感激。

布赖恩

Answer 1

如何在 Scrapy 中更新 DjangoItem 的可能重复项

NT3RP 提供了一个很好的解决方案，可以在一个管道和几个函数中更新所有 django 模型。

您可以填充从对象的数据构造的“假”主键。然后您可以保存数据并在模型中更新它，如果已经只在一个管道中抓取：

class ItemPersistencePipeline(object):
    def process_item(self, item, spider):
        try:
             item_model = item_to_model(item)
        except TypeError:
            return item   
        model, created = get_or_create(item_model)
        try:
            update_model(model, item_model)
        except Exception,e:
            return e
        return item

当然方法：

def item_to_model(item):
    model_class = getattr(item, 'django_model')
    if not model_class:
        raise TypeError("Item is not a `DjangoItem` or is misconfigured")   
    return item.instance   

def get_or_create(model):
    model_class = type(model)
    created = False
    try:
        #We have no unique identifier at the moment
        #use the model.primary for now
        obj = model_class.objects.get(primary=model.primary)
    except model_class.DoesNotExist:
        created = True
        obj = model  # DjangoItem created a model for us.

    return (obj, created)

from django.forms.models import model_to_dict

def update_model(destination, source, commit=True):
    pk = destination.pk

    source_dict = model_to_dict(source)
    for (key, value) in source_dict.items():
        setattr(destination, key, value)

    setattr(destination, 'pk', pk)

    if commit:
        destination.save()

    return destination

此外，您应该在 django 的模型中定义字段“primary”以搜索是否已经在刮掉的新项目中

模型.py

class Parent(models.Model):
    field1 = CharField()   
    #primary_key=True
    primary = models.CharField(max_length=80)
class ParentX(models.Model):
    field2 = CharField()
    parent = models.OneToOneField(Parent, related_name = 'extra_properties')
    primary = models.CharField(max_length=80) 
class Child(models.Model):
    field3 = CharField()
    parent = models.ForeignKey(Parent, related_name='childs')
    primary = models.CharField(max_length=80)