问题标签 [scrapy-item]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 有没有关于如何使用数据类和scrapy项目的例子?
我正在检查 Scrapy 中关于它的文档: https ://docs.scrapy.org/en/latest/topics/items.html#dataclass-objects
不幸的是,他们没有提供任何关于如何在蜘蛛中使用它的示例。我正在使用这种语法定义我的scrapy项目,我在我的代码中以这种方式调用:
我收到此错误:
TypeError: 'ProductItem' object is not iterable
PS:我希望收到一个错误,例如,当使用 scrapy 预期整数时将类值定义为字符串。
json - 在python scrapy中将类项保存为json文件
我想将这两个类(Product_Items 和 Variant_Product)的所有数据保存为 JSON 输出文件。 getProductDetails():在这个函数中,我想提取product_variants列表中的第一个元素的数据并将其添加到 dict(item_list) 中,对于其余元素,我正在创建一个 req 以递归地访问相同的函数,直到我拥有所有我的 dict(item_list) 中的键。在函数结束时,我想将提取的数据写入 JSON 文件,但我无法从函数返回两个值。
同样,在getListingDetails()函数中,我需要将项目保存为 JSON 文件。请帮忙!!!
以下是片段:
python - Scrapy - 将嵌套字典生成到 JSON 文件 - 不起作用
编辑
dict
正如 Georgiy 所建议的那样,我尝试放弃,Item
结果是一样的。
编辑结束
尝试将 Scrapy 输出导出到 JSON 文件。项目应具有以下格式:
问题是 Scrapyname
只渲染。原因可能是那attrs
是一本字典。
为了简单起见,我总是返回这个:
输出如下所示:
你知道如何让它工作吗?
python - Scrapy 项目更改列名
有没有办法改变csv输出中的列名,例如,我有这样的scrapy项目:
在我的蜘蛛脚本中我使用:
我使用scrapy命令
并且data.csv中的列名也是recordi,所以我的问题是,我可以更改列名吗,scapy.Field()是否有任何参数,我可以在其中定义列名,它保持recordi字段名,但是列名应该是 Recor Di