问题标签 [scrapy-selenium]

我试图从“zingat.com”中删除列表数据。清单的示例是“http://zingat.com//en/didim-akbuk-de-mustakil-girisli-havuzlu-3-1-daire-4032010i”。我尝试使用 scrapy + selenium 来执行此操作，但是 xpath 的输出与源代码不匹配，尤其是在页面的“功能”部分时。

我没有正确获取所有功能名称和数据：

['\n Listing No\n ', '净平方米', '总平方米', '房间数量', '浴室数量', '建筑层数', '供暖类型', '户型' , '楼层', '\n Video Home Tour\n ', '\n ', '建筑年代', 'Pet Friendly Paws Houses', '家具状态', '使用状态', '物业状态' , '维护费', '租金收入', '来自谁', '地契状态', '适合银行贷款']

['4032010', '125', '150m²', '没有']

或者换句话说，列表名称与源代码不同，列表数据丢失了大约一半的点。我尝试添加隐式等待，但没有帮助。如果您有任何建议或理想情况下是直接解决方案或路径，我将不胜感激。

也感谢您的阅读。

我正在尝试单击 Tripadvisor 提供的每个邮轮列表的附加信息。之后，我想在单击框后获取价格信息并生成该信息。

但是，我收到以下错误：

消息：元素点击被拦截：元素 ... 在点 (478, 594) 处不可点击。其他元素会收到点击：...

这是我尝试过的：

我正在尝试将 scrapy 与 selenium 集成以抓取 instagram。首先，我想用 selenium 完成登录表单，然后传递 urlscrapy.Requests来解析数据，scrapy因为它的计算速度要快得多。我遇到的问题是前者有效，但是当我运行Requests它时它不起作用，因为下一个解析方法的屏幕截图显示我仍在上一页。

这是我尝试过的：

我正在尝试使用 Selenium 和 Python 来抓取 DuckDuckGo 搜索结果，但我只能在代码中断之前进入第二页。下面是最小的例子：

我该如何改进它？非常感谢大家！