问题标签 [rcurl]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
javascript - 如何使用 RCurl 使用 javascript 来抓取网页进行导航?
我有一个这样的链接:
我想每天抓取基金价格,我可以在 R 中使用XML
和RCurl
打包来抓取第一页,但是对于第二页中的剩余资金,之后,它是由 javascript ( javascript:SetPageIndex('1');
) 导航的。
如何抓取 javascript 导航页面?
timeout - rcurl 网页抓取超时退出程序
我正在使用循环并rcurl
从多个页面中抓取数据,这在某些时候似乎工作正常,但由于服务器没有响应而超时时失败。
我正在使用一个timeout=30
捕获超时错误的程序,但是程序在超时后停止。我希望程序在发生超时时继续到下一页,但不知道该怎么做?
这是我正在使用的导致超时的语句。如果有兴趣,我很乐意分享代码。
伍德沃德
xml - 在 Windows 上安装 RCurl 和 XML 包时出错
我正在尝试安装 RCurl 和 XML 包并在 Windows 上出现错误。我尝试过 R 2.15.0 和 2.15.1、cran.r-project.org 和 www.omegahat.org/R,以及二进制和源代码。有什么建议么?谢谢。
下载的源码包在
C:\Documents and Settings\Administrator\Local Settings\Temp\RtmpclrXFX\downloaded_packages
r - 从命令行安装 R 包
我在安装几个软件包时遇到了真正的麻烦,但根本原因主要是缺少库。我将在这里举一个例子。
在 R-2.15.2 内
我尝试了几件事来提供库路径,但没有成功。
还:
r - 如何使用 R 从需要 cookie 的 SSL 页面下载压缩文件
我正在尝试从需要按下“我同意”按钮然后存储 cookie 的 https 页面下载文件。如果这个答案在某处很明显,我很抱歉..
当我直接在 Chrome 中打开网页并单击“我同意”时 - 文件开始自动下载。
我试图复制这个例子,但我不认为hangseng 网站实际上存储cookie/身份验证,所以我不知道这个例子是否应该是我所需要的。
除此之外,我认为 SSL 使身份验证复杂化,因为我认为 getURL() 调用将需要像 cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl")) 这样的证书规范
我是 RCurl 的初学者,不知道这个网站是不是很困难,或者我只是错过了一些明显的东西。
谢谢!
r - Rcurl 不适用于重定向
可能重复:
cURL ,获取重定向 url 到变量
我正在尝试在http://weblogo.berkeley.edu/logo.cgi上使用 Rcurl 和 WebLogo 绘制序列徽标
我已经尝试过了,但它只返回填写表单的 html(即它没有被提交)。当我查看提交的时间线时,我看到生成的图像是通过重定向生成的。知道如何获得该图像吗?
另外:.cgifields 的意义何在?它在许多例子中,但它的目的是什么?
xml - “非零退出状态”错误下载 XML 和 RCurl R 包
我有这个问题:
和:
python - 使用 R SOAP (SSOAP) 检索数据/抓取
在 B 循环页面(www.bcycle.com/whowantsitmore.aspx)上,我试图抓取选票的位置和值。
URL http://mapservices.bcycle.com/bcycleservice.asmx是一个 SOAP 服务。
根据文档,我相信我做得正确,但由于解析输入参数而出现错误。即使调用没有参数的函数也会产生错误。
这是由于函数中的以下代码:
因此,我尝试直接使用 .SOAP 函数:
我设法连接到他们的服务器,但收到错误:
这些是我尝试过但没有成功的选项。
使用 Python,我能够发出对 getCities 的请求,但没有收到任何回复。
我真的对保持这个 R 的关注很感兴趣,但是使用 python 可以更容易地了解问题可能是什么。
有任何想法吗?
r - 使用 R/RCurl 高效下载大文件
我看到很多使用 RCurl 下载二进制文件的例子是这样的:
如果下载量很大,我想最好将它同时写入存储介质,而不是全部在内存中获取。
在 RCurl 文档中,有一些示例可以按块获取文件并在下载文件时对其进行操作,但它们似乎都称为文本块。
你能举一个工作的例子吗?
更新
一位用户建议对二进制文件使用download file
带有选项的 R native 。mode = 'wb'
在许多情况下,本机函数是一个可行的替代方案,但有许多用例不适合此本机函数(https、cookie、表单等),这就是 RCurl 存在的原因。
r - 是否有可能将(二进制)栅格数据直接传递给空间对象?
我使用 curl 数据包的 getBinaryURL 从网络接收光栅数据(png、tiff、...)并将数据保存到磁盘。该栅格数据稍后用于空间分析,我目前使用栅格(和 rgdal)数据包来加载栅格数据并创建栅格对象。
它可以工作,但是原始数据的保存和加载部分并不是很好。所以我喜欢将“原始”(map_png)对象直接传递给“RasterLayer”(地图)对象。像这样:
有人知道如何存档吗?
-
我知道我可以解码 png 或使用数据包 png 进行解码,但是对于许多不同的输入格式,这不是一种理想的方式。更具体地说,我举了一个例子,以获取时间增益,直接使用获取后已经可用的二进制对象getBinaryURL()