问题标签 [rcurl]

我正在尝试登录 Moddle 并获取一些日志文件：

但我将登录页面作为 txt 文件获取。我应该怎么办？

我已经使用 rcurl 进行简单的文本检索和简单的抓取，但我对谷歌的趋势感到困惑。让我们以奥巴马和罗姆尼为例。如果您附加“&export=1”，谷歌趋势会返回一个页面，显示图表的基础数据。

http://www.google.com/trends/explore?q=obama%2C+romney#q=obama%2C%20romney&export=1

在该页面上，数据位于 reportContent div 中，您可以通过检查以下元素来检查：

更具体地说，它隐藏在与该 div 关联的 innerHTML 和 innertext 属性中。我以前从未见过这种情况，我想知道如何使用 rcurl 访问该数据。我也很好奇，如果有人碰巧知道，为什么谷歌不只是以简单的 html 呈现数据。我承认我不是很博学；我正在尽可能多地阅读它，但是我发现的关于 innertext 属性的内容（不多）对于修改我的 rcurl 脚本并不是特别有启发性或帮助。

我将 RCurl 包更新为 1.95-3。我发现它不能处理中文字符的页面。

这是一个例子：

库（RCurl）

url="http://vip.stock.finance.sina.com.cn/corp/go.php/vMS_FuQuanMarketHistory/stockid/601117.phtml"

txt <- getURL(url, .encoding = "GB2312")

我得到以下错误信息。nchar(str) 中的错误：无效的多字节字符串 1

getURL在此示例中不起作用。

我重新安装了 RCurl 1.91，发现上面的代码有效。任何人都知道如何在不降级 RCurl 的情况下解决这个问题？

我想使用 R 填写以下（演示）表格：

https://docs.google.com/forms/d/1daaGo7XZaaGGPvTOconG8QZItqaLeIZmSpPPcgxTJvg/viewform

关于如何做到这一点的任何建议？

谢谢！

这些 Curl 文档：http ://curl.haxx.se/docs/manpage.html#-d列出了许多布尔选项。

如何在 RCurl 的 postForm 调用中指定这些选项？例如，如何指定 --sslv3 标志？

我试过了

但收到错误：

提前致谢。

解决方案

通过一些试验和错误，我发现这是可行的：

如果有人能澄清如何将 Curl 选项转换为 RCurl 选项，将不胜感激！

我需要从 R 创建 CouchDB 设计文档，以便其他人无需学习或切换到 CouchDB 即可使用我的代码。

此链接对于学习如何从 R 中使用 CouchDB 非常有用：http: //digitheadslabnotebook.blogspot.com/2010/10/couchdb-and-r.html。在它之后，我可以创建和填充数据库：

在 CouchDB web-gui Futon 中，我手动创建了这个视图（这是我想从 R 中执行的步骤）。

回到 RI 可以得到视图结果：

要从 R 创建视图，我将视图保存到文件并尝试将其放入 CouchDB

但这会导致（“bad_request”“invalid_json”）。

有什么问题？我怀疑最后一行或“writeLines”命令，但还没有找到让它们工作的方法。

更新：基于 Kxepals 的好答案，我创建了一个新的 writeLines，它创建了一个可以用 curl 解析的视图。

但是以下行仍然给出相同的错误。现在我确定错误就在这一行。

我正在尝试下载一个 1.1 GB 的文件，httr但我遇到了以下错误：

我的 C 盘有 400GB 可用空间。

在RCurl包中，我在使用时看到maxfilesizeandmaxfilesize.large选项，getCurlOptionsConstants()但我不明白这些是否/如何传递给httrthroughconfig或set_config.. 或者我是否需要切换到RCurl这个.. 即使我确实需要切换，增加最大文件大小会起作用吗？

这是我的会话信息..

..and（不建议这样做，因为它会花费你一段时间）如果你想重现我的错误，你可以去https://usa.ipums.org/usa-action/samples，注册一个新的帐户，选择 2011 5 年 acs 提取，添加大约一百个变量，然后等待提取准备好。然后编辑前三行并运行下面的代码。（再次，不推荐）

我最初问这个关于使用包执行此任务的问题httr，但我认为不可能使用httr. 所以我已经重写了我的代码来RCurl代替使用——但我仍然在绊倒可能与writefunction..有关的东西，但我真的不明白为什么。

您应该能够使用 32 位版本的 R 来重现我的工作，因此如果您将任何内容读入 RAM，就会达到内存限制。我需要一个直接下载到硬盘的解决方案。

首先，这段代码可以工作——压缩文件被适当地保存到磁盘上。

现在这里有一些RCurl不起作用的代码。如上一个问题所述，要准确复制它需要在ipums上创建一个提取。

现在我已经登录，尝试与上面相同的命令，但使用curl对象来保留 cookie。

这条线断了——

我上一篇文章的答案让我参考了这个 c 级 writefunction答案，但我对如何重新创建 curl_writer C 程序（在 Windows 上？）一无所知。

..或者为什么它甚至是必要的，因为这个问题顶部的五行代码没有任何像getNativeSymbolInfo. 我只是不明白为什么传入curl那个存储身份验证/cookies并告诉它不要验证SSL的额外对象会导致原本可以工作的代码..中断？

我想通过 RCurl 使用以下 curl 命令

所以我正在使用以下 R 代码

但我得到一个“内部服务器错误”，所以我不确定我的 R 代码是错误的还是 Windows 问题。
我提到这一点的原因是原始 curl 命令在 Windows 中失败但在 Mac 和 Linux 上工作，所以我不确定 R 失败是 Windows 问题还是 R 问题。

我正在尝试在 R 中的 Windows 7 中复制以下 apigee oauth 调用。我尝试了 Roauth、（python）oauth-proxy 和 RCurl（可能是最好的方法，但我无法弄清楚）等。这是运行良好的 apigee 调用：

我需要一个保持打开状态的 oauth 连接，以便我可以在 R 中调用 API。任何帮助都将不胜感激，特别是上述字段如何读入解决方案。提前感谢您的宝贵时间。