1

我已经复制了 scrapy 在他们的第一个示例中给出的确切代码,但它似乎不起作用。我做了很多论坛搜索,我看到很多人遇到同样的错误。我倾向于认为这可能是因为安装可能不正确。想知道是否有人可以帮助查看日志。

这是 Scrapy 给出的基础教程示例。 教程网址

命令行

D:\tutorial\tutorial\spiders>scrapy crawl dmoz_spider.py 2012-06-25 18:50:55+0530 [scrapy] INFO: Scrapy 0.14.4 started (bot: tutorial) 2012-06-25 18:50: 55+0530 [scrapy] 调试:启用扩展:LogStats、TelnetConsole、CloseSpider、WebService、CoreStats、SpiderState 2012-06-25 18:50:56+0530 [scrapy] 调试:启用下载器中间件:HttpAuthMiddleware、DownloadTimeoutMid dleware、UserAgentMiddleware、 RetryMiddleware, DefaultHeadersMiddleware, RedirectMiddleware, CookiesMiddleware, HttpProxyMiddleware, HttpCompressionMiddleware, ChunkedTransferMiddleware, DownloaderStats 2012-06-25 18:50:56+0530 [scrapy] 调试:启用的蜘蛛中间件:HttpErrorMiddleware, OffsiteMiddleware, Re fererMiddleware, UrlLengthMiddleware-06-DepthMiddleware 25 18:50:56+0530 [scrapy] 调试:启用的项目管道:回溯(最近一次通话最后):
文件“C:\Python27\Scripts\scrapy”,第 5 行,在 pkg_resources.run_script('scrapy==0.14.4', 'scrapy') 文件“C:\Python27\lib\site-packages\pkg_resources.py” ,第 489 行,在 run_script self.require(requires)[0].run_script(script_name, ns)
文件“C:\Python27\lib\site-packages\pkg_resources.py”,第 1207 行,在 run_script execfile(script_filename, namespace, namespace) 文件“c:\python27\lib\site-packages\scrapy-0.14.4- py2.7.egg\EGG-INFO\scripts\scrapy”,第 4 行,在 execute() 文件“C:\Python27\lib\site-packages\scrapy-0.14.4-py2.7.egg\scrapy\cmdline .py”,第 132 行,在执行 _run_print_help(parser, _run_command, cmd, args, opts) 文件“C:\Python27\lib\site-packages\scrapy-0.14.4-py2.7.egg\scrapy\cmdline. py”,第 97 行,在 _run_print_help func(*a, **kw) 文件“C:\Python27\lib\site-packages\scrapy-0.14.4-py2.7.egg\scrapy\cmdline.py”中,行139,在 _run_command cmd.run(args, opts) 文件“C:\Python27\lib\site-packages\scrapy-0.14.4-py2.7.egg\scrapy\commands\crawl.py”中,第 43 行运行蜘蛛 = 自我。crawler.spiders.create(spname,*opts.spargs) 文件“C:\Python27\lib\site-packages\scrapy-0.14.4-py2.7.egg\scrapy\spidermanager.py”,第 43 行,在创建中raise KeyError("Spider not found: %s" % spider_name)

KeyError:'未找到蜘蛛:dmoz_spider.py'

4

1 回答 1

4

您不会通过在您的案例 dmoz_spider.py 中调用蜘蛛模块名称来启动它。你以你给那个蜘蛛的名字开头。

在这种情况下,如果您完全按照教程进行操作,它将是:

scrapy crawl dmoz
于 2012-06-26T07:22:04.947 回答