0

我正在尝试使用 IBM Watson Natural Language Understanding 服务来测试一个站点。我正在使用此工具 ( https://natural-language-understanding-demo.mybluemix.net/ ) 并从我们的站点输入一个 URL 进行测试。

使用我们的生产服务器 ( https://www.knox.edu )，我在站点的每个页面上都收到以下错误。

{code: 400, error: "attempt to fetch failed: :closed"}

使用同一站点的测试服务器（https://cmstest.knox.edu/test），一切正常。

什么会导致我们的生产服务器出现错误？

谢谢！

4

2 回答 2

0

看起来 NLU 已经更新了他们的抓取引擎，你提到的网站现在可以从 NLU 抓取，当我运行类别调用时，我收到以下输出

{
    "categories": [{
    "score": 0.999469,
    "label": "/education/graduate school/college"},{
    "score": 0.497251,
    "label": "/law, govt and politics/legal issues/legislation/tax laws},{
    "score": 0.466882,
    "label": "/travel/tourist destinations/africa"}]
}
于 2018-02-14T08:43:00.720 回答
0

此错误通常是由站点的 robots.txt 导致 Watson NLU 服务无法抓取 URL。

检查您的 robots.txt 文件，看看它是否阻止了用户代理（可能是全局的）。

这里有一些使用 Python SDK 讨论此错误的附加信息：https ://github.com/watson-developer-cloud/python-sdk/issues/199

于 2017-06-26T16:03:01.347 回答