0

我目前正在使用 Node 从 API（Discogs API）获取数据，请求时出现此错误：

{ [Error: Parse Error] bytesParsed: 0, code: 'HPE_INVALID_CONSTANT' }

使用此链接：http ://api.discogs.com/releases/249504 （但我对其他所有请求都有相同的错误content-length != actual content length）

这段代码：

var http  = require('http');

var options = {
  hostname: 'api.discogs.com',
  port: 80,
  path: '/releases/249504',
  method: 'GET'
};

var req = http.request(options, function(res) {
  console.log("statusCode: ", res.statusCode);
  console.log("headers: ", res.headers);

  res.on('data', function(d) {
    console.log(d);
  });
});
req.end();

req.on('error', function(e) {
  console.error(e);
});

我发现 Content-length 值总是小于实际响应字节长度。

Content-length : 2142

Actual Byte Length : 7,734 Bytes (according to https://mothereff.in/byte-counter)

我读过 Node 的 Parser 非常严格，这就是它无法解析响应的原因。

最后，我问你是否有一种方法可以在 Node 解析响应之前忽略/修改/删除 Header，这样解析器就可以通过忽略 Content-Length 来完成他的工作？

4

2 回答 2

1

这与（感知的，见下文）无效的内容长度无关，因为它也不能使用 cURL：

$ curl  http://api.discogs.com/releases/249504
curl: (52) Empty reply from server

显然 API 服务器要求设置用户代理标头：

var options = {
  hostname : 'api.discogs.com',
  port     : 80,
  path     : '/releases/249504',
  method   : 'GET',
  headers  : { 'user-agent' : 'foo/1.0' }
};

至于 content-length 的区别：2142 是 gzip 压缩响应的大小 ( content-encoding: gzip)，7734 是未压缩响应的大小。显然，您的字节计数器测试仅请求未压缩的响应，但您检查标头的客户端正在请求压缩响应。

于 2015-08-26T10:30:13.163 回答
0

回到在解析 Node 中的响应之前更改标头的主题，您可以通过用您自己的socket: "data"事件函数替换标准处理程序来轻松完成。

https://github.com/nodejs/http2/blob/master/lib/_http_client.js#L655

var req = http.request(options, function(res) {
  console.log("statusCode: ", res.statusCode);
  console.log("headers: ", res.headers); // without "Pragma: public" header

  res.on('data', function(d) {
    console.log(d);
  });
});

// catch socket object on conection initialization
req.on('socket', function (socket) {
    // https://nodejs.org/api/events.html
    var standardHandler = socket.listeners('data')[0];
    socket.off('data', standardHandler);

    socket.on('data', function(data) {
        var str = data.toString();
        console.log(str);
        // HTTP/1.x 200 OK
        // Date: Sat, 28 Nov 2009 04:36:25 GMT
        // Connection: close
        // Pragma: public
        // Expires: Sat, 28 Nov 2009 05:36:25 GMT
        // Cache-Control: max-age=3600, public
        // Content-Type: text/html; charset=UTF-8
        // Content-Length: 533424
        // Content-Encoding: gzip
        // Vary: Accept-Encoding, Cookie, User-Agent
        //  
        // <!DOCTYPE html PUBLIC "-//W3C//DTD

        // Do anything you need
        // removing 4 line
        var lines = str.split('\r\n');
        lines.splice(3, 1)
        str = lines.join('\r\n');

        // Now pass new data onto standard request handler
        standardHandler.call(socket, Buffer.from(str, "utf-8"));
    })
});

req.end();
于 2021-03-23T18:01:08.707 回答