问题标签 [seleniumwire]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - SEC_ERROR_UNKNOWN_ISSUER | 硒线火狐
我正在尝试访问一个网站并获取该网站的网络标头。但是,我收到此错误“SEC_ERROR_UNKNOWN_ISSUER”
没有“接受风险并继续”选项。只能回去。
我已经尝试了几乎所有我能找到的关于此的方法,但没有一个有效。
代码:
python - “代理服务器拒绝连接”
我正在使用 seleniumwire 模块并试图访问一个网站,但它卡在网站的加载页面上,然后它说“代理服务器拒绝连接”
代码:
python - python selenium 接受 cookie iframe
我是 python 和 selenium 的新手,我需要帮助。我不能在 iframe 中接受 cookie
任何人都可以帮助我吗?
谢谢
selenium - Firefox 和 Seleniumwire 无法在 AWS EC2 实例上运行
我正在尝试在 AWS EC2 实例上使用 Seleniumwire 运行 Firefox。这是我当前的配置:
- ubuntu==20.4
- 硒线==4.3.0
- 蟒蛇==3.8.10
- 壁虎驱动==0.29.1
- ChromeDriver==94.0.4606.81
- 64 位(臂)
我已经安装了 ChromeDriversudo apt-get install chromium-chromedriver
和 geckodriver sudo apt-get install firefox-geckodriver
。
这是我要运行的脚本:
问题:d.requests
返回[]
,这是意外行为。我知道已经发布了有关driver.requests
返回空列表的问题,但推荐的解决方案在我的设置中不起作用。也print(d.page_source)
可以正常工作,这让我认为代理配置不正确。此外,我将这个问题隔离到 Firefox,因为相同的代码在 Chrome 上工作(用 Firefox 换成 Chrome);也就是说,d.requests
包含一个非空的请求列表。我会使用 Chrome,但我的项目范围需要 Firefox。
以下是我为调试所采取的一些步骤:
- 使用 显式设置端口
selenium_options={"port": 4444}
,其中4444
取自geckodriver
命令行上的 localhost 输出。 - 使用以下格式添加代理:
- 在新的 EC2 实例上重新安装并重新运行我的所有脚本。
- 根据此问题指定不同的
tmp
目录
我还没有尝试过不同版本的geckodriver
and selenium-wire
,但我怀疑这不是问题所在。
任何有关调试的建议将不胜感激。
python - 我如何使用代理身份验证 Python Selenium?
美好的一天,我一直在寻找一种使用代理身份验证的方法。我什么都试过了。最后用硒线,但我总是得到消息网站不安全。
那是我的代码`来自 seleniumwire import webdriver import time
`
有人对我有想法或解决方案吗?
python - seleniumwire python中的空请求
我正在使用 selenium-wire 在 Ubuntu 18.04 中抓取请求标头并使用 Firefox 驱动程序。但是driver.requests
是空的。我有什么问题?
结果是:
Ubuntu 设置或 Firefox 设置或我的代码有问题吗?
selenium - 在 google research colab 中运行与智能代理管理器集成的 seleniumwire
当 seleniumwire 与谷歌研究 colab 中的智能代理管理器 (SPM) 集成时,我很想寻找可以使用旋转代理成功运行的解决方案。
我向 Zyte 技术团队寻求支持,他们在 collab 下搜索了所有选项以同时运行两个单元。!nohup 是他们发现的唯一选项,在这种情况下也没有帮助。不幸的是,他们无法找到任何解决方案来让它在合作中发挥作用。
他们没有太多关于如何在 google collab 上执行多个单元或在笔记本之间连接运行时的信息。他们甚至尝试直接从https://github.com/zytedata/zyte-smartproxy-headless-proxy/releases/tag/1.3.1下载二进制文件并运行它进行测试,但结果是一样的。
有没有人在使用 google colab 时尝试过同样的方法?请帮助获取有关 google collab 设置的更多信息。
amazon-web-services - 带有 Selenium Wire 远程 WebDriver 的 AWS Device Farm
在我的项目中,为了能够访问测试环境网站,我需要发送一个标头请求,否则我会收到 404 错误。我在服务器上使用 Jenkins 运行 Selenium-wire,并在 AWS Device Farm 上运行浏览器。问题是,有些网站不需要标头,我可以正常访问,对于那些网站,下一个配置工作正常:
对于需要使用标头的站点,我首先开始添加“拦截器”功能,然后尝试了许多其他操作:
另外,在本地,带有标头的“拦截器”功能在授予我访问权限方面工作得很好。
如果有人可以在这里提出一些建议,我将不胜感激!
谢谢!
selenium - 如何修复来自请求的字节的 UnicodeDecodeError?
我有以下使用selenium-wire记录所有请求的完整工作示例代码。
但是,响应正文的解码会产生错误
并且没有尝试解码响应正文,我得到一个错误
我不关心编码,我只想能够以某种方式将“正文”写入 json 文件。如果需要,可以删除有问题的字节/字符,我不在乎。
任何想法如何解决这个问题?