问题标签 [scrapy-item]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
484 浏览

python - 有没有关于如何使用数据类和scrapy项目的例子?

我正在检查 Scrapy 中关于它的文档: https ://docs.scrapy.org/en/latest/topics/items.html#dataclass-objects

不幸的是,他们没有提供任何关于如何在蜘蛛中使用它的示例。我正在使用这种语法定义我的scrapy项目,我在我的代码中以这种方式调用:

我收到此错误: TypeError: 'ProductItem' object is not iterable

PS:我希望收到一个错误,例如,当使用 scrapy 预期整数时将类值定义为字符串。

0 投票
1 回答
116 浏览

json - 在python scrapy中将类项保存为json文件

我想将这两个类(Product_Items 和 Variant_Product)的所有数据保存为 JSON 输出文件。 getProductDetails():在这个函数中,我想提取product_variants列表中的第一个元素的数据并将其添加到 dict(item_list) 中,对于其余元素,我正在创建一个 req 以递归地访问相同的函数,直到我拥有所有我的 dict(item_list) 中的键。在函数结束时,我想将提取的数据写入 JSON 文件,但我无法从函数返回两个值。

同样,在getListingDetails()函数中,我需要将项目保存为 JSON 文件。请帮忙!!!

以下是片段:

0 投票
1 回答
81 浏览

python - Scrapy - 将嵌套字典生成到 JSON 文件 - 不起作用

编辑

dict正如 Georgiy 所建议的那样,我尝试放弃,Item结果是一样的。

编辑结束

尝试将 Scrapy 输出导出到 JSON 文件。项目应具有以下格式:

问题是 Scrapyname只渲染。原因可能是那attrs是一本字典。

为了简单起见,我总是返回这个:

输出如下所示:

你知道如何让它工作吗?

0 投票
2 回答
96 浏览

python - Scrapy 项目更改列名

有没有办法改变csv输出中的列名,例如,我有这样的scrapy项目:

在我的蜘蛛脚本中我使用:

我使用scrapy命令

并且data.csv中的列名也是recordi,所以我的问题是,我可以更改列名吗,scapy.Field()是否有任何参数,我可以在其中定义列名,它保持recordi字段名,但是列名应该是 Recor Di