问题标签 [node-request]

我需要从谷歌搜索结果中抓取一些只显示在浏览器中的内容（我怀疑是在启用 Javascript 时）——特别是他们的知识图“人们也在搜索”内容。

我使用request和的组合cheerio来抓取，并且已经设法从.com域中强制加载结果，但是，知识库框没有出现在body我的结果中，可能是因为它是 javascript 生成的内容。

有人知道是否有我可以添加的设置或我可以使用的其他库吗？

下面是我的代码。谢谢！

在构建一个相当复杂的爬虫时，我偶然发现了我的代码控制流的问题。

下面的代码中发生了什么：1）请求一个 URL 2）从结果中抓取 NEWURL 3）将它作为第一个异步函数传递给可读性 API 4）问题来了——我永远不会得到下一个将 readabilityData 保存到数据库的异步函数

如何解决这个问题呢？我是 JS 新手，所以请随时指出我的代码的任何问题。

我注意到 Google 最近从他们的 Node 客户端中删除了批处理请求：

https://github.com/google/google-api-nodejs-client/blob/0db674b7d3a04cf65e223f876cf7b3f427025cd4/MIGRATING.md

如何使用 Node 编写批处理请求？我正在尝试在给定一组邮件 ID 的情况下获取 Gmail 中的电子邮件内容。

以下是谷歌说我应该这样做的方式，但我以前从未提出过这种类型的请求：

https://developers.google.com/gmail/api/guides/batch

我正在尝试使用 node.js 抓取网站。使用的模块是 request、cheerio 和 async。有些页面有 iframe，里面有一些文本。我正在尝试抓取该文本。我得到了 iframe 的 src，构造了完整的 url，然后使用请求模块发出请求。返回的 html 一直说“此 Web 浏览器不支持框架”。

我尝试将构建的 url 放在浏览器地址栏中，然后我得到了文本。

我不确定为什么会这样。请帮忙。如何抓取 iframe 中的内容

示例代码：

打印的 html 显示“此 Web 浏览器不支持框架”，而不是当我将 url 放入浏览器时应该显示的文本。

我开发了一个 node.js webapp，将 express+mongoose 部署到 Amazon EC2 实例。

当文件上传到特定的 s3 存储桶时，应用程序会收到 SNS 通知，将某些内容存储在 mongodb 中，然后将 https 发布到亚马逊以外的某个端点。https post是使用请求库以这种方式完成的：

这是使用简单的回调模型完成的（即我没有使用异步库）。

文件不断上传，因此 SNS 以相同的速度（每秒约 5/10 个请求）访问我的应用程序。应用程序启动的前十分钟，我可以看到（通过检查日志）随着传入请求的到达，http post 正在以接近的速度传递。

但在某些时候，requests.post 回调开始落后，直到它停止出现在日志文件中（尽管请求不断出现）。通过检查另一个端点（在 config.get('some.endpoint')) 中指定的端点，我可以有效地判断帖子没有被传递。在不同的突发和很大的延迟（5 分钟或更长时间）中，日志中会出现一些新消息，就像它试图赶上一样，但从长远来看，它们根本不会出现。

我已经意识到，如果我通过停止/重新启动传入的请求来进行一些手动流量控制，我可以让它正常工作。

难道我做错了什么？由于某种原因，请求是否会堆积在某个地方？我怎样才能检查这个？我应该使用一些库来确保执行吗？

是不是 node.js 更喜欢处理新的传入请求而不是处理旧的请求回调，并且不知何故这些回调永远不会执行？

欢迎任何有关如何调试此问题的帮助或建议。

提前致谢！

I have a wierd issue, I am trying to scrap certain page using request module, but I get 403 Access Denied on doing so. But I am perfectly able to do it using the curl module for node. But people over the internet suggests that it would be more performance hungry than requests module as I need to scrap a lot of similar pages. Why am i getting 403 when using requests module?

根据本文档，我正在使用节点请求并尝试将文件发送到 IBM 的 HDFS 。

传递此 JSON 对象以请求成功上传：

并且运行这个 CURL 命令也成功上传了一个文件：

curl -v -X PUT -L -b cookie.jar "https://host:port/webhdfs/v1/tmp/myLargeFile.zip?op=CREATE&data=true" --header "Content-Type:application/octet-stream" --header "Transfer-Encoding:chunked" -T "file.txt"

但是，尝试像这样指定文件流：

失败了，我不知道我要去哪里错了。如何使用节点请求从 CURL 重现“--upload-file”参数？

我创建了一个 nodejs 程序，它基本上通过 https 请求使用 https 图形 api 来验证 facebook 令牌，如下所示：

问题是我只能发出 10 个单个请求。10 号之后发出的任何请求都不会完成（即，回调永远不会被调用，也没有数据发回）。我尝试在参数化请求中添加超时参数无济于事。

我正在使用 gulp、browserify 和 watchify。这是我的“脚本”任务：

client.js好像：

request节点模块（http客户端）在哪里： https ://github.com/request/request

当我运行此任务并执行代码时 - 一切都很好。当我改变时问题就开始了client.js。当我发表评论alert('1')时， watchify 开始它的工作并bundle()再次运行。当我在浏览器上重新加载页面时，我收到以下 javascript 异常：

使用以下堆栈跟踪：

知道browserify / request有什么问题吗？

即使我指定了代理 url，我的 POST 请求也不会发送给 Fiddler：

注意：我的网址：http ://node.dev:8080/api指向本地主机。

知道我做错了什么吗？