当您运行import.io爬虫时，它是否服从robots.txt文件？
问问题
315 次
2 回答
3
根据常见问题解答，事实证明确实如此。
你遵守 robots.txt 吗？ 是的。
于 2014-05-19T09:39:03.260 回答
0
是的，我们有（也有提取器和连接器）
于 2015-04-11T00:22:01.697 回答