问题标签 [httr]

我正在尝试使用 R 自动下载此网页上可用的收入动态面板研究文件。单击这些文件中的任何一个都会将用户带到此登录/身份验证页面。身份验证后，您可以使用 Web 浏览器轻松下载文件。不幸的是，下面的代码似乎没有维护身份验证。我已经尝试在 Chrome 中检查 Login.aspx 页面（如此处所述），但即使我相信我传递了所有正确的值，它似乎也无法维持身份验证。我不在乎它是否完成了httrHeadershttrRCurl或其他东西，我只是喜欢在 R 中工作的东西，所以我不需要这个脚本的用户必须手动或使用一些完全独立的程序下载文件。我的尝试之一如下，但它不起作用。任何帮助，将不胜感激。谢谢！！:D

我正在为一个结构不正确的网络服务器日志文件而苦苦挣扎，我想总结一下以分析托管站点的出席情况。对我来说不幸的是，该站点的架构很混乱，因此没有托管对象（html 页面、jpg 图像、pdf 文档等）的索引，而多个 URI 可以引用同一页面。例如 ：

• http://www.site.fr/main.asp?page=foo.htm
• http://www.site.fr/storage-tree/foo.htm
• http://www.site.fr/specific.asp?id=200
• http://www.site.fr/specific.asp?path=/storage-tree/foo.htm

等等，在重复的 URI 之间没有任何明显的规律性。

如何在概念上和实践上有效地识别页面？正如我看到的问题，这个想法是构建一个索引，将日志的 URI 与从 http 请求构造的唯一对象标识符链接起来。存在三个松散的约束：

• 我将 R 用于统计部分，因此也更愿意将其用于 http 处理
• 日志包含数十万个不同的 URI（其中包括表单、搜索和数据库查询），因此速度可能是一个问题
• 如果我想在三天或一个月内判断这个新的 URI 是一个已知的先前标识的页面，我已经存储了我用来评估两个 URI 引用同一页面的特性。然后，存储空间是一个问题。

我正在尝试使用此处的说明从命令行创建 OAuth 令牌。我可以curl从命令行使用，并得到正确的响应

现在，我想在 R 中使用RCurlor复制相同的内容httr。这是我尝试过的，但两个命令都返回错误。谁能指出我在这里做错了什么？

我正在尝试学习如何使用httr来访问 SMS 服务的 API。包文档很有帮助，但我认为我缺乏对一些重要的更高层次概念的理解。有人可以指点我一个很好的使用教程httr吗？

如果它有助于将我引导到正确类型的资源，这里是我试图从服务提供商的 API 文档中使用的一个 url 示例（帐户未激活）：

我的第一个倾向是定义每个对象，然后将字符串粘贴在一起。

我不认为这是正确的方法。我想我应该使用 POST 的一些参数来修改带有必要信息的 url，但我没有看到更大的图景。我认为一两个例子可能会帮助我朝着正确的方向前进。包含的演示似乎并没有解决我的困惑。

我正在尝试下载一个 1.1 GB 的文件，httr但我遇到了以下错误：

我的 C 盘有 400GB 可用空间。

在RCurl包中，我在使用时看到maxfilesizeandmaxfilesize.large选项，getCurlOptionsConstants()但我不明白这些是否/如何传递给httrthroughconfig或set_config.. 或者我是否需要切换到RCurl这个.. 即使我确实需要切换，增加最大文件大小会起作用吗？

这是我的会话信息..

..and（不建议这样做，因为它会花费你一段时间）如果你想重现我的错误，你可以去https://usa.ipums.org/usa-action/samples，注册一个新的帐户，选择 2011 5 年 acs 提取，添加大约一百个变量，然后等待提取准备好。然后编辑前三行并运行下面的代码。（再次，不推荐）

我最初问这个关于使用包执行此任务的问题httr，但我认为不可能使用httr. 所以我已经重写了我的代码来RCurl代替使用——但我仍然在绊倒可能与writefunction..有关的东西，但我真的不明白为什么。

您应该能够使用 32 位版本的 R 来重现我的工作，因此如果您将任何内容读入 RAM，就会达到内存限制。我需要一个直接下载到硬盘的解决方案。

首先，这段代码可以工作——压缩文件被适当地保存到磁盘上。

现在这里有一些RCurl不起作用的代码。如上一个问题所述，要准确复制它需要在ipums上创建一个提取。

现在我已经登录，尝试与上面相同的命令，但使用curl对象来保留 cookie。

这条线断了——

我上一篇文章的答案让我参考了这个 c 级 writefunction答案，但我对如何重新创建 curl_writer C 程序（在 Windows 上？）一无所知。

..或者为什么它甚至是必要的，因为这个问题顶部的五行代码没有任何像getNativeSymbolInfo. 我只是不明白为什么传入curl那个存储身份验证/cookies并告诉它不要验证SSL的额外对象会导致原本可以工作的代码..中断？

我正在尝试自动登录英国的数据存档服务。该网站显然是值得信赖的。不幸的是，两者都在 SSL 验证RCurl时httr中断。我的网络浏览器没有给出任何警告。ssl.verifypeer = FALSE我可以通过使用in来解决这个问题，RCurl但我想了解发生了什么？

我已经使用httrR 中的包来获取对 Fitbit API 的访问权限，但我不确定应该使用哪个函数从 API 中提取活动。

任何帮助将非常感激。请提供该功能的示例代码。

我相信我找到了一个可能的答案。

使用来自此 stackoverflow 答案/问题的设置输入：httr fitbit API question。

获得授权后，我就使用了该httr功能GET。

在 config 参数中，sig变量来自上面链接的答案/问题。

我正在为http://asdfree.com/编写一组可免费下载的 R 脚本，以帮助人们分析由英国数据服务托管的复杂样本调查数据。除了为这些数据集提供大量的统计教程外，我还想自动下载和导入这些调查数据。为此，我需要弄清楚如何以编程方式登录到这个英国数据服务网站。

我已经尝试了很多不同的RCurl和httr配置来登录，但是我在某个地方犯了一个错误，我被卡住了。我已尝试检查本文中概述的元素，但网站在浏览器中跳得太快，我无法理解发生了什么。

该网站确实需要登录名和密码，但我相信我什至在进入登录页面之前就犯了一个错误。

以下是该网站的工作方式：

起始页应为：https ://www.esds.ac.uk/secure/UKDSRegister_start.asp

此页面会自动将您的网络浏览器重定向到一个长 URL，该 URL 开头为：https://wayf.ukfederation.org.uk/DS002/uk.ds?[blahblahblah]

(1) 由于某种原因，SSL 证书在本网站上不起作用。这是我发布的关于此的 SO 问题。我使用的解决方法只是忽略 SSL：

然后我在起始网站上的第一个命令是：

这给了我一个z$url看起来很像https://wayf.ukfederation.org.uk/DS002/uk.ds?[blahblahblah]我的浏览器也重定向到的页面。

然后，在浏览器中，您应该输入“uk data archive”并单击continue按钮。当我这样做时，它会将我重定向到网页https://shib.data-archive.ac.uk/idp/Authn/UserPassword

我认为这是我卡住的地方，因为我无法弄清楚如何使用 cURLfollowlocation并登陆该网站。注意：尚未输入用户名/密码。

当我使用来自 wayf.ukfederation.org.uk 页面的httr GET命令时，如下所示：

该y$url字符串看起来很像z$url（除了最后有一个组合框=）。有没有办法通过RCurl或httruk data archive进入这个认证页面？

我不知道我是否只是忽略了某些东西，或者我是否绝对必须使用我之前的 SO 帖子中描述的 SSL 证书或什么？

(2) 在我进入该页面时，我相信其余的代码将是：

但我想该页面将不得不等待......

This is a follow up / updated question to this:

AWS dynamodb support for "R" programming language

I am looking for examples or documentation on how to read in a table from DynamoDB into R.

This question pointed me in the right direction:

R + httr and EC2 api authentication issues

(answered by the great @hadley himself!).

It's ok if I have to use httr and then parse a json response, but I can't even figure out how to format the POST request.

Thanks!