问题标签 [windmill]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 使用 Python-Windmill 进行网页抓取(如何准确地等待页面完全加载)
我一直在玩风车来尝试一些网络抓取,但是 API waits.forPageLoad 无法检查页面是否完全呈现。
在我需要使用现有 DOM 重新加载页面并使用 waits.forElement 检测 DOM 以使脚本“确定”页面已加载的情况下。这有时会在页面加载之前检测到 DOM。
在 Firefox 中使用风车测试客户端加载页面似乎需要很长时间。如果我使用常规的 firefox 浏览器加载同一页面,可能需要 2 秒,但在测试客户端中可能需要一分钟。需要这么长时间是正常的吗?
最后我想知道是否有更好的替代风车进行网页抓取?文档似乎有点稀疏。
请指教。谢谢:P
python - Windmill 没有得到所有的 html 内容
我正在尝试使用 python Windmill 框架从网页上抓取数据。但是,我在从页面中获取 HTML 表格内容时遇到问题。该表是由 Javascript 生成的 - 因此我使用 Windmill 来获取内容。但是,内容不会返回表格 - 如果我使用 BeautifulSoup 尝试解析内容,则会导致错误。
当您查看汤的输出时,该表丢失了,但如果您使用诸如萤火虫之类的内容查看网页内容,它就会显示出来。总的来说,我正在尝试获取表格内容并将其解析为某种数据结构以进行进一步处理。任何帮助深表感谢!
windmill - 如何成功安装风车?
关注 https://github.com/windmill/windmill/wiki/installing之后
我安装 python 2.7 并将其添加到我的路径中,当我运行 ez_setup.py 时收到 404。
关于如何解决的任何想法?
windmill - 风车里有什么特殊角色吗?我该如何覆盖?
我正在尝试关闭一个名为 [Close] 的弹出窗口。
好像要死在这里了。
有没有办法在代码中包含文字括号?
python - Python新手生成随机字符串
我最近开始使用 windmill 和 python 来运行我的 Web 应用程序的自动化测试。这是 windmill 通过记录我的事件自动生成的 python 脚本:
我对 python 完全陌生,我现在正在学习一些语法。但是有人可以帮我在各个字段中随机输入文本吗?
例如:第 2 行:在一项测试中我想要
在另一个方面:
(随机,不同)
谢谢!
python - Windmill-无浏览器
在 selenium 测试中,有 htmlunitdriver 可以在没有浏览器的情况下运行测试。我也需要用风车做这个。有没有办法在风车中做到这一点?
感谢!
python-2.7 - Windmill 好像安装成功了,但是没有启动
我用pip在mac(山狮)上安装了windmill,好像成功了:
但是风车没有启动:
我的问题:我应该按照此链接上的说明进行操作吗? https://github.com/windmill/windmill/wiki/installing 我真的不想遵循这个,因为它会创建另一个 Python 安装文件夹,即“/usr/local/bin/python”。我已经使用 MacPorts 安装了 Python2.7 和 pip 以及许多其他库(因此,位置是:“/opt/local/bin/python”)。
我应该安装另一个 python 和 easy_install 吗?或任何其他启动风车的解决方案?
python - 使用风车或硒进行浏览器模拟和抓取,有多少http请求?
我想使用风车或硒来模拟访问网站的浏览器,抓取内容并在分析内容后根据分析进行一些操作。
举个例子。浏览器访问一个网站,我们可以在其中找到 50 个链接。当浏览器仍在运行时,例如 python 脚本可以分析找到的链接并决定浏览器应该点击哪个链接。
我的大问题是使用风车或硒可以完成多少个 http 请求。我的意思是这两个程序可以模拟在浏览器中访问网站并仅使用一个 http 请求来抓取内容,还是在浏览器仍在运行时使用网站的另一个内部请求来获取链接?
多谢!
windmill - 无法运行 Windmill,多个错误
我在设置和安装 Windmill 时遇到了各种问题。我以为我终于设置好了,但是现在当我尝试运行 windmill 时,出现以下错误。任何帮助表示赞赏。
c:\Python33\Scripts>windmill firefox http://www.google.com Traceback(最近一次调用最后):文件“c:\Python33\Scripts\windmill-script.py”,第 9 行,在 load_entry_point('windmill ==1.6', 'console_scripts', 'windmill')() 文件“C:\Python33\lib\site-packages\distribute-0.6.49-py3.3.egg\pkg_resources.py”,第 345 行,在 load_entry_point return get_distribution(dist).load_entry_point(group, name) File "C:\Python33\lib\site-packages\distribute-0.6.49-py3.3.egg\pkg_resources.py",第 2382 行,在 load_entry_point 返回 ep。 load() 文件“C:\Python33\lib\site-packages\distribute-0.6.49-py3.3.egg\pkg_resources.py”,第 2088 行,在 load entry = import (self.module_name, globals(),全局变量(),['姓名']) 文件“C:\Python33\lib\site-packages\windmill-1.6-py3.3.egg\windmill__init__.py”,第 17 行,在导入 bin、浏览器、服务器、conf、工具、sys ImportError:否名为“bin”的模块
python - 使用beautifulsoup4.2和windmill进行文档抓取,如何消除“document.write();” 从传递给 BeautifulSoup 构造函数的标记
我终于发现 BS4 不再像 BS3 那样使用“标记按摩”。但是我仍然需要一种类似的方式来处理不需要的 document.write。您会在 BS3 中执行以下操作,但在 BS4 中如何执行?
另外,由于 BS4 BeautifulSoup 构造函数不再支持 markupmassage 参数,我应该在我的程序中的哪个位置处理 document.write 问题?我假设这是问题所在,因为我只是想打印出表格标记,并且在运行 windmill 时遇到线程异常。
这就是我的代码的样子: