https://skydrive.live.com/robots.txt显示:
用户代理:*
禁止:
由于“禁止:”允许网络蜘蛛爬取整个站点,这不会造成隐私/安全问题吗?
相比之下,http ://drive.google.com/robots.txt有“禁止:/”
https://skydrive.live.com/robots.txt显示:
用户代理:*
禁止:
由于“禁止:”允许网络蜘蛛爬取整个站点,这不会造成隐私/安全问题吗?
相比之下,http ://drive.google.com/robots.txt有“禁止:/”