问题标签 [rcurl]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
496 浏览

javascript - 如何使用 RCurl 使用 javascript 来抓取网页进行导航?

我有一个这样的链接:

http://webfund6.financialexpress.net/clients/zil/pricetable.aspx?User=PUBLIC&Region=ROW&Range=VISTA&Currency=HKD

我想每天抓取基金价格,我可以在 R 中使用XMLRCurl打包来抓取第一页,但是对于第二页中的剩余资金,之后,它是由 javascript ( javascript:SetPageIndex('1');) 导航的。

如何抓取 javascript 导航页面?

0 投票
0 回答
253 浏览

timeout - rcurl 网页抓取超时退出程序

我正在使用循环并rcurl从多个页面中抓取数据,这在某些时候似乎工作正常,但由于服务器没有响应而超时时失败。

我正在使用一个timeout=30捕获超时错误的程序,但是程序在超时后停止。我希望程序在发生超时时继续到下一页,但不知道该怎么做?

这是我正在使用的导致超时的语句。如果有兴趣,我很乐意分享代码。

伍德沃德

0 投票
1 回答
1795 浏览

xml - 在 Windows 上安装 RCurl 和 XML 包时出错

我正在尝试安装 RCurl 和 XML 包并在 Windows 上出现错误。我尝试过 R 2.15.0 和 2.15.1、cran.r-project.org 和 www.omegahat.org/R,以及二进制和源代码。有什么建议么?谢谢。

下载的源码包在

C:\Documents and Settings\Administrator\Local Settings\Temp\RtmpclrXFX\downloaded_pa​​ckages

0 投票
2 回答
6873 浏览

r - 从命令行安装 R 包

我在安装几个软件包时遇到了真正的麻烦,但根本原因主要是缺少库。我将在这里举一个例子。

在 R-2.15.2 内

我尝试了几件事来提供库路径,但没有成功。

还:

0 投票
1 回答
2779 浏览

r - 如何使用 R 从需要 cookie 的 SSL 页面下载压缩文件

我正在尝试从需要按下“我同意”按钮然后存储 cookie 的 https 页面下载文件。如果这个答案在某处很明显,我很抱歉..

当我直接在 Chrome 中打开网页并单击“我同意”时 - 文件开始自动下载。

http://www.icpsr.umich.edu/cgi-bin/bob/zipcart2?path=SAMHDA&study=32722&bundle=delimited&ds=1&dups=yes

我试图复制这个例子,但我不认为hangseng 网站实际上存储cookie/身份验证,所以我不知道这个例子是否应该是我所需要的。

除此之外,我认为 SSL 使身份验证复杂化,因为我认为 getURL() 调用将需要像 cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl")) 这样的证书规范

我是 RCurl 的初学者,不知道这个网站是不是很困难,或者我只是错过了一些明显的东西。

谢谢!

0 投票
0 回答
42 浏览

r - Rcurl 不适用于重定向

可能重复:
cURL ,获取重定向 url 到变量

我正在尝试在http://weblogo.berkeley.edu/logo.cgi上使用 Rcurl 和 WebLogo 绘制序列徽标

我已经尝试过了,但它只返回填写表单的 html(即它没有被提交)。当我查看提交的时间线时,我看到生成的图像是通过重定向生成的。知道如何获得该图像吗?

另外:.cgifields 的意义何在?它在许多例子中,但它的目的是什么?

0 投票
4 回答
10794 浏览

xml - “非零退出状态”错误下载 XML 和 RCurl R 包

我有这个问题:

和:

0 投票
1 回答
3857 浏览

python - 使用 R SOAP (SSOAP) 检索数据/抓取

在 B 循环页面(www.bcycle.com/whowantsitmore.aspx)上,我试图抓取选票的位置和值。

URL http://mapservices.bcycle.com/bcycleservice.asmx是一个 SOAP 服务。

根据文档,我相信我做得正确,但由于解析输入参数而出现错误。即使调用没有参数的函数也会产生错误。

这是由于函数中的以下代码:

因此,我尝试直接使用 .SOAP 函数:

我设法连接到他们的服务器,但收到错误:

这些是我尝试过但没有成功的选项。

使用 Python,我能够发出对 getCities 的请求,但没有收到任何回复。

我真的对保持这个 R 的关注很感兴趣,但是使用 python 可以更容易地了解问题可能是什么。

有任何想法吗?

0 投票
2 回答
9646 浏览

r - 使用 R/RCurl 高效下载大文件

我看到很多使用 RCurl 下载二进制文件的例子是这样的:

如果下载量很大,我想最好将它同时写入存储介质,而不是全部在内存中获取。

在 RCurl 文档中,有一些示例可以按块获取文件并在下载文件时对其进行操作,但它们似乎都称为文本块。

你能举一个工作的例子吗?

更新

一位用户建议对二进制文件使用download file带有选项的 R native 。mode = 'wb'

在许多情况下,本机函数是一个可行的替代方案,但有许多用例不适合此本机函数(https、cookie、表单等),这就是 RCurl 存在的原因。

0 投票
1 回答
927 浏览

r - 是否有可能将(二进制)栅格数据直接传递给空间对象?

我使用 curl 数据包的 getBinaryURL 从网络接收光栅数据(png、tiff、...)并将数据保存到磁盘。该栅格数据稍后用于空间分析,我目前使用栅格(和 rgdal)数据包来加载栅格数据并创建栅格对象。

它可以工作,但是原始数据的保存和加载部分并不是很好。所以我喜欢将“原始”(map_png)对象直接传递给“RasterLayer”(地图)对象。像这样:

有人知道如何存档吗?

-

我知道我可以解码 png 或使用数据包 png 进行解码,但是对于许多不同的输入格式,这不是一种理想的方式。更具体地说,我举了一个例子,以获取时间增益,直接使用获取后已经可用的二进制对象getBinaryURL()