问题标签 [dryscrape]

我正在尝试抓取需要登录并且正在运行 java 脚本的网站。

我可以使用 requests_html 中的 HTMLSession 登录。但问题是，我没有找到执行 java 脚本的方法。所以我尝试使用适用于 Java srcipt 的 dryscrape，除了 session.post() 不适用于 dryscrape 模块，所以我无法登录。

所以下一步是我需要一个关于如何组合这两个会话或结合两者的模块的一般想法：登录和 java 脚本。

你们中有人有想法吗，我怎么能做到这一点！

问候塞巴斯蒂安

我试图安装 dryscrape，当我!pip install dryscrape 在 google colab 中编写时，我得到以下输出：

收集dryscrape 下载https://files.pythonhosted.org/packages/b5/75/c45f796ec5bc7f98c38b9ae425390ef5f4a76153c8b5af946adb97e7e622/dryscrape-1.0.tar.gz 收集webkit_server>=1.0 下载https://files.python2hosted.org/packages/29/ f4f454cccde75e95359e91fa58f14497350dc97e58534f9003c77eca3dff/webkit-server- 1.0.tar.gz (41kB) |█████████████████████████████████| 51kB 2.5MB/s 已满足要求：/usr/local/lib/python3.7/dist-packages 中的 lxml（来自 dryscrape）（4.2.6）收集 xvfbwrapper 下载https://files.pythonhosted.org/packages/57 /b6/4920eabda9b49630dea58745e79f9919aba6408d460afe758bf6e9b21a04/xvfbwrapper-0.2.9.tar.gz 为收集的包构建轮子：dryscrape、webkit-server、xvfbwrapper 为dryscrape (setup.py) 构建轮子...完成为dryscrape 创建轮子：filename=dryscrape-1.0-cp37-none-any.whl size=5440 sha256=8e8469df960b731a8cb688d85b0cd4abcdd0aa4bcf5805d911caf708存储在目录中：/root/.cache/pip/wheels/d5/7e/24/0b5b37166c524082a6fb722bc14c6f885ebb7fcfc7e1563f3e webkit-server（setup.py）的构建轮...错误 错误：webkit-server的构建轮失败 为 webkit-server 运行 setup.py clean 为 xvfbwrapper (setup.py) 构建轮子 ...完成为 xvfbwrapper 创建轮子：filename=xvfbwrapper-0.2.9-cp37-none-any.whl size=5009 sha256=0df17305d7fbff2973dddb1560c1e232f19fcc2a73be1dca2ed2a00d1目录：/root/.cache/pip/wheels/10/f2/61/cacfaf84b352c223761ea8d19616e3b5ac5c27364da72863f0 成功构建dryscrape xvfbwrapper 未能构建webkit-server 安装收集的包：webkit-server，xvfbwrapper，dryscrape 运行setup.py install for webkit-server 。 ..错误 错误：命令错误退出状态1：/usr/bin/python3 -u -c'import sys，setuptools，tokenize；sys.argv[0] = '"'"'/tmp/pip-install-irrofp8e/webkit-server/setup.py'"'"'; 文件='"'"'/tmp/pip-install-irrofp8e/webkit-server/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(文件);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(编译(code, file , '"'"'exec'"'"'))' install --record /tmp/pip-record-ufv_nemh/install-record.txt --single-version-externally-managed --compile 检查完整命令输出的日志。

我尝试从 github 存储库安装，并且在编写时得到相同的输出!pip install -r requirements.txt，我使用的是官方文档。

我正在做 Web Scraping，使用 dryscrape 和美丽的汤。但是 Colab 没有找到 xvfb，尽管它已安装。为什么？？？#the error I get it in dryscrape.start_xvfb() OSError: Can not find Xvfb. 请安装并重试。我已经安装了...有什么问题？

我一直在使用 python 中的网络抓取工具来抓取 Google Finance，但我无法使用 find() 方法找到我正在寻找的特定标签。最后，我很生气，我决定将返回的数据写入文件并自己查找。所以我把它写到同一目录下的 testing.html 中，然后用 Google Chromium 打开它，这样我就可以使用检查工具了。几分钟之内，我找到了我正在寻找的元素。我究竟做错了什么？我的代码附在下面：

我想用windows打开一个网站。我正在使用干刮。我被困住了。

这是错误

回溯（最近一次通话最后）：

文件“C:\Users\marti\PycharmProjects\pythonProject1\main.py”，第 9 行，在 session = dryscrape.Session() 文件“C:\Users\marti\AppData\Local\Programs\Python\Python310\lib\ site-packages\dryscrape\session.py”，第 22 行，在init self.driver = driver 或 DefaultDriver() 文件“C:\Users\marti\AppData\Local\Programs\Python\Python310\lib\site-packages\ dryscrape\driver\webkit.py"，第 30 行，在init super(Driver, self) 中。init (**kw) 文件“C:\Users\marti\AppData\Local\Programs\Python\Python310\lib\site-packages\webkit_server.py”，第 230 行，在init self.conn = connection 或 ServerConnection()文件“C:\Users\marti\AppData\Local\Programs\Python\Python310\lib\site-packages\webkit_server.py”，第 507 行， self._sock = (server or get_default_server()).connect() 文件“C:\Users\marti\AppData\Local\Programs\Python\Python310\lib\site-packages\webkit_server.py”，第 450 行，在 get_default_server _default_server = Server() 文件“C:\Users\marti\AppData\Local\Programs\Python\Python310\lib\site-packages\webkit_server.py”，第 413 行，在init self._server = subprocess.Popen([binary ]，文件“C:\Users\marti\AppData\Local\Programs\Python\Python310\lib\subprocess.py”，第 966 行，在init self._execute_child(args，可执行文件，preexec_fn，close_fds，文件“C:\ Users\marti\AppData\Local\Programs\Python\Python310\lib\subprocess.py"，第 1435 行，在 _execute_child hp、ht、pid、tid = _winapi.CreateProcess(executable, args, FileNotFoundError:[WinError 2] 系统找不到指定的文件

有没有人可以帮助我？