我想测试我的爬虫蜘蛛。我想将蜘蛛导入测试文件并制作一个测试蜘蛛并覆盖 start_urls,但我在导入它时遇到了问题。这是一个项目结构
...product-scraper\test_spider.py
...product-scraper\oxygen\oxygen\spiders\oxygen_spider.py
...product-scraper\oxygen\oxygen\items.py
问题是蜘蛛从 items.py 导入产品类
from oxygen.items import Product
ImportError: No module named items
cmdscrapy crawl oxygen_spider
有效
我尝试以所有可能的方式更改 sys.path 或 site.addsitedir
basedir = os.path.abspath(os.path.dirname(__file__))
module_path = os.path.join(basedir, "oxygen\\oxygen")
sys.path.append(basedir) # module_path
没有成功:(
我在 Windows 上使用 python 2.7