networking - 如何检测收到的网络超时是由于请求端点还是中间的东西（例如 http 代理）

Question

作为编写爬虫的一部分（在 Node.js 中，但实际上不是重点），我有时会收到超时和其他网络异常。某些异常（如 http 错误代码）可以正确归因于目标请求端点。其他的，比如我自己配置​​的超时，更难（不可能？）归因。

例如，在使用 http 代理进行爬网时，如何检查异常（如提到的超时）是由于代理还是由于请求端点引起的？

Answer 1

您应该能够依靠代理尽可能快地转发它获得的任何东西，除非它是一个本土程序，在这种情况下一切皆有可能。因此，您应该将所有超时视为源自上游服务器。