问题标签 [rselenium]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
918 浏览

rselenium - RSelenium:单击不可见对象 - ElementNotVisibleException

此页面的主菜单 ( linio ) 有 11 个链接。只对 9 感兴趣(灰色背景并在悬停时显示子菜单)。

我想从 9 个选项中单击子菜单中的每个元素。所需的过程是:

1.-第一部分:“Celulares y 片剂”。
2.-转到:“Celulares y 智能手机”。请单击并查看此页面。
3.-提取一些数据(检查,我已经能够做到这一点)。

4.-转到“Celulares y Tablets”中的下一个子菜单。即:“Accesorios Celular”。

5.-提取一些数据,然后进入下一个子菜单。完成本部分中的所有子菜单后,我将进入下一个大部分:“TV-Audio-y-Foto”。

以此类推,共有 9 个部分。

HTML 结构

查看源代码,我已经到了这个:

1.- 主标题:主标题位于“导航”标签内:

2.- 'nav' 标签里面是一个'ul',里面的每个'il' 都有9 个部分的每一个部分的'id':

3.- 在 il 元素中,有 div 元素包含我们需要的链接:请注意<a>class ="subnav__title"。

4.- 使用 RSelenium 转到每个部分:

但这样做会显示此错误:

*我认为这个问题可能会有所帮助。但我不明白。

**我认为我的 CSS 没问题。

0 投票
1 回答
6271 浏览

r - 在r中抓取密码保护的论坛

我在登录脚本时遇到问题。尽管我在 stackoverflow 上找到了所有其他好的答案,但没有一个解决方案对我有用。

我正在为我的博士研究抓取一个网络论坛,它的 URL 是http://forum.axishistory.com

我要抓取的网页是会员列表 - 一个列出所有会员资料链接的页面。只有登录后才能访问成员列表。如果您尝试在未登录的情况下访问成员列表,它会显示登录表单。

成员列表的 URL 是这样的:http://forum.axishistory.com/memberlist.php

我尝试了 httr 包:

输出是登录表单。

然后我尝试了 RCurl:

输出是登录表单 - 再次。

然后我尝试了这个主题中的 list() 函数 - Scrape password-protected website in R

然后再次!输出是登录表单。

我接下来要做的是 RSelenium,但经过所有这些尝试后,我试图弄清楚我是否可能遗漏了一些东西(可能是完全明显的东西)。

我在这里查看了其他相关帖子,但无法弄清楚如何将代码应用于我的案例:

如何使用 R 从需要 cookie 的 SSL 页面下载压缩文件

在 R 中抓取受密码保护的网站

如何使用 R 从需要 cookie 的 SSL 页面下载压缩文件

https://stackoverflow.com/questions/27485311/scrape-password-protected-https-website-in-r

使用 R 抓取受密码保护的网站

0 投票
0 回答
300 浏览

r - R - 跳过丢失数据的网络抓取动态表单

我正在使用 RSelenium 从具有动态形式的 [网站][1] 中抓取数据,其中多个下拉菜单会根据选择的内容而变化。我正在尝试为每个州的每个地区提取变量“运营控股的数量和面积”。

我能够使代码正常工作,但是当地区没有表格时会出现问题(网站数据库有几个没有数据的地区)。当我的代码运行到一个没有数据的区域时,它完成了,我留下了一个不完整的数据集。

我将如何创建一个可以跳过这些缺少表格的区域的代码?我的代码粘贴在下面。当我修改了他们的代码时,我特别注意了之前的堆栈交换线程 [link here][2]。此外,如果有人可以清理我的最终输出以避免在每个新区重复可变标题,我们将不胜感激。

rm(列表=ls(全部=真))

0 投票
0 回答
77 浏览

web-scraping - 在 if else 语句中使用 RSelenium findElement 函数

我一直在尝试使用 RSelenium,但无法弄清楚在使用 findElement 函数时如何制作“if”“else”语句。任何人都可以帮助解决下面的这个基本问题吗?这只是一个测试,以了解我的整体代码。基本上,我想看看一个页面是否有一个术语以及它是否进行了计算。非常感谢!

启动 Selenium 服务器 ------------------------------------------------------------ ---------

0 投票
0 回答
296 浏览

json - Rselenium 无法获取页面源 - fromJSON 错误

我正在尝试使用 RSelenium 包,我注意到 getPageSource() 方法在某些网站上失败(但在其他网站上没有) - 请参阅此示例,使用出现在 Relenium 文档中的网站:

这失败了:

fromJSON 中的错误(内容,处理程序,default.size,深度,allowComments,:无效的 JSON 输入

这成功了:

[1] "\r\nhttp://www.w3.org/1999/xhtml\" lang=\"en\" class=\"orb-js bbcdotcom bbcdotcom-responsive ads-enabled js flexbox flexboxlegacy csscolumns cssgradients csstransforms fontface生成内容 svg inlinesvg cssfilters bbcdotcom-init bbccom-group-4 bbcdotcom-analytics-init wwhp"

有谁知道获取页面源的解决方案或解决方法?请注意,dos 中描述的使用 google 站点的示例确实有效 - RSelenium 可以查找和访问页面中的元素。只是 getPageSource() 方法失败了。

0 投票
1 回答
5776 浏览

r - RSelenium:使用 Xpath 查找链接

我想在带有RSelenium和的页面中找到所有指向 PDF 文件的链接Xpath

请考虑

在页面中有多个指向 PDF 文件的链接,例如

但我的第一次尝试

产生以下错误

我的语法错了吗?

0 投票
1 回答
9369 浏览

r - 如何使用 RSelenium 打开谷歌浏览器?

我正在使用 RSelenium,我想打开和浏览 Google Chrome。但是,当我想从 R 打开浏览器时,总是会出错。使用以下代码:

相同的代码适用于 Firefox。我能做些什么呢?

0 投票
2 回答
1329 浏览

r - 为什么当我想定义 Firefox 配置文件时,RSelenium 总是出错

我正在使用 RSelenium 并想设置一个 Firefox 配置文件。所以我试图重现这个问题的答案的例子。但是,无论我更改什么,我总是会收到以下错误。我究竟做错了什么?

我已经在 RSelenium 手册中读到,当想要制作 Firefox 配置文件时,应该安装 Windows 系统 RTools。我做了,但没有任何改变。

错误如下:

0 投票
1 回答
1001 浏览

r - 用于“将链接另存为”的 Rselenium 命令

(警告,新手,慢慢学习R)

你好呀,

我正在尝试使用 R 从网站自动下载数据。该网站正在使用共享点,并且在询问(从 https 获取网站而不是 CSV 中的 aspx 下载)后,有人将我指向 RSelenium。

我需要从以下地址下载 csv 文件: https ://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY

但在我需要接受协议之前(我正在使用 RSelenium 进行“点击”)代码在这里:

我的问题是:我在 RSelenium 中找不到“将链接另存为”的命令

我想我需要找到这种类型的东西:

这存在吗?在 R 中有更好的方法来做到这一点吗?

提前致谢

0 投票
1 回答
1441 浏览

r - R Selenium 右键下载文件

使用该RSelenium软件包,我正在尝试右键单击链接以下载文件。

我的应用程序要求我提供带有密码的登录信息,这很好用,但这个简单的应用程序展示了我当前的障碍。

考虑一下下载足球排名的 excel 文件的尝试。

接下来我将鼠标悬停在我需要下载的链接上

当我截取屏幕截图时,很明显代码到目前为止已经工作了(也就是说,链接带有下划线)

在此处输入图像描述

为什么没有以下内容:

下载文件?