在使用 Node.js 请求 HTTP 响应并将其导入 MongoDB 时,我注意到一两个 URL 的标头包含非法字符(因为它们正在使用密钥),当我尝试导入 MongoDB 时,这会使整个脚本崩溃。下面是一个例子:
{
"url": "divensurf.com",
"statusCode": 200,
"headers": {
"x-varnish": "2236710953 2236710300",
"vary": "Accept-Encoding,Cookie,X-UA-Device",
"cache-control": "max-age=7200, must-revalidate",
"x-cache": "V1HIT 2",
"content-type": "text/html; charset=UTF-8",
"page.ly": "v4.0",
"x-pingback": "http://divensurf.com/xmlrpc.php",
"date": "Thu, 21 Mar 2013 19:40:59 GMT",
"transfer-encoding": "chunked",
"via": "1.1 varnish",
"connection": "keep-alive",
"last-modified": "Thu, 21 Mar 2013 19:40:57 GMT",
"age": "2"
}
}
标头/键"page.ly"
会使脚本崩溃,因为它包含非法字符.
。在我将此文档导入 MongoDB 之前,是否有任何方法可以通过删除这些非法字符来清理包含在引号中的这个键/标题?
以下是我请求响应的代码:
(function (i){
http.get(options, function(res) {
var obj = {};
obj.url = hostNames[i];
obj.statusCode = res.statusCode;
obj.headers = res.headers;
db.scrape.save(obj); // imports headers into MongoDB
}).on('error',function(e){
console.log("Error: " + hostNames[i] + "\n" + e.stack); // prints error stack onto console
})
})(i);
例如,它将是从"page.ly"
到"pagely"
编辑:已解决。检查盖尔的答案。