node.js - 使用 nodejs 的网络请求进行 Web 抓取

Question

我刚刚被分配了一项涉及 nodejs 中的网络请求（发送 get/post 请求）的任务，例如获取 .php 或 .json 文件。

我在网上搜索过，但没有运气。有公会吗？我从哪说起呢？

Answer 1

当您想从 Node.js 发送 http (https) 请求时，有很多选项：

1.使用内置的http模块

这是更底层的做事方式，如果您是使用 Node.js 的新 http，我不会推荐它。当您需要完全控制请求或您确实需要速度时，您将使用这种方法。

2.使用第三方库

这是发送http请求的更常见的方式。Node.js 有很多 http 库，其中很少有：

• 请求（已弃用）

Request 是最常用的 http 请求库之一，但由于它已被弃用一段时间，因此不应在新软件中使用它。

• 爱讯

Axios 是一个基于 Promise 的 http 客户端。

• 超级代理

与 Axios 类似，SuperAgent 是一个基于 Promise 的 http 客户端，但它有一些有用的功能，例如URL 查询参数。

• 得到

Got 也是一个基于 Promise 的 http 客户端，但它比其他 http 客户端更简洁。

选择首选选项后，您应该可以轻松找到它的文档。