问题标签 [rselenium]

我必须阅读 Linkedin 上的评论，它一次只显示 10 条评论，并带有“显示上一条评论”链接。我有 1000 条评论，所以需要点击显示上一条评论 100 次才能看到所有评论。我想知道如何使用 Rselenium 在linkedin 页面上使用“clickElement()”100 次。之后，我希望将评论导出到电子表格或文本文件中。

这是代码

这使我可以单击一次，但我需要单击 100 次。

我的网页中有以下 html 元素：

我在 Rselenium 中使用以下命令来查找该标签：

然后我使用以下命令点击链接：

现在链接在新页面中打开，可能是因为 html 标记包含 target="PARENT"。如何在我在 remDr 中的同一选项卡中打开该链接？有什么建议么？谢谢

我正在使用 Rselenium 导航到网页。下面的代码就是这样做的。我没有提供网址，因为我在需要 vpn 连接的公司中使用该网址：

导航到网页后，在 html 源代码中，我有下表：

现在的问题是我怎样才能拉出这个表的内容？请假设 url 不存在，否则我可以使用 XML 函数：readHTMLTable(remDr$getCurrentUrl())。但这由于某种原因不起作用。我只需要使用remoteDriver 句柄（remDr）。非常感谢您的时间

我需要自动查找 href 链接（并找到它的“xpath”或“css 选择器”或...），以便通过 R 中的脚本单击该链接。在以下代码中，每次登录时所有标签都会更改，除了链接文本（例如以下代码中的“单击我获取更多信息”）。如何仅使用其链接文本来搜索此链接的 xpath/css 选择器？

为什么 youtube.com 的页面来源不可抓取？

我尝试了以下方法（使用 phantomjs 以及带有 selenium 服务器的 chrome）

回报：

I'm doing webscraping to this web:

I just need the information from the products: "brand", "name of product", "price".

I can get that, but also i get the information from a banner with similar products by other users. I don't need it.

But when i go to the source code of the page, i can't see those products. I think it's been pulled through javascript or something:

QUESTION 1: How to block this information when doing the web scraping? This adds products that i don't need. But can't see this part in the source code.

QUESTION 2: When extracting prices "precio1", i get this as first element: "\n\t\t\t\tSubtotal InternetS/. 0" I can't see that in the code source neither. How to not scrape it?

我有一个 Rselenium 脚本来填写表格，但我正在尝试使用 CasperJS，因为我发现 Rselenium 太慢了。以下代码将按我的预期导航表单。

我尝试过的等效 CasperJS 代码如下；

卡斯珀的输出；

RSelenium的优点是不需要指定form参数，但想必casperJS需要这个。我应该改用什么？

我正在检查元素，但在这种情况下无法识别表单参数。一般如何处理这个问题？

我正在使用 phantomJS 从不同的站点收集数据。在数据抓取过程中，我在解析站点或站点元素时遇到了很多崩溃。不幸的是，phantomJS 和 RSelenium 都没有在控制台中提供任何信息或包报告。脚本只是挂起而没有任何警告。我看到它正在执行，但实际上什么也没发生。阻止脚本执行的唯一方法是手动重启 R。经过几次测试，我发现 phantomJS 通常会在执行 remDr$findElements() 命令时挂起。我尝试使用 firefox 和 RSelenium 重新运行我的代码 - 它工作正常。所以问题在于 phantomJS 是如何工作的。

有没有人在运行 phantomJS 时遇到过类似的情况？是否有可能纠正这种不当行为？

我在用着：

1. Windows 7的
2. 硒 2.0
3. R 版本 3.1.3
4. phantomjs-2.0.0-windows

我的代码：

我正在运行基于RSelenium Basics CRAN 页面的以下脚本：

这会产生以下错误：

根据GitHub 上此对话的评论，我修改了我的startServer()命令，如下所示：

然后我在控制台中收到以下错误：

并且在弹出的Java提示中出现这个错误：

我不确定缺少 Opera 驱动程序是实际错误还是警告。无论如何，我想使用 Chrome，所以这似乎无关紧要。我究竟做错了什么？

我正在尝试让 R 使用预定义的文本（例如 BN1 1NA）完成此网页http://cti.voa.gov.uk/cti/上的“按邮政编码搜索”字段，前进到下一页并抓取结果4 列表，根据邮政编码，可以跨越多页。为了使其更复杂，“改进指标”不是文本字段，而是图像文件（如使用邮政编码 BN1 3HP 搜索时所见）。我希望此列包含 0 或 1，具体取决于图像是否存在。

最终，我追求了一个很好的数据框，它反映了屏幕上的 4 列。

我试图修改这个问题的建议来做我上面描述的事情，但没有运气，老实说，我试图破译这个问题已经超出了我的深度。

我意识到 R 可能不是最适合我需要做的事情，但它是我可用的全部。任何帮助将不胜感激。