0

我正在使用正常模式和不推荐使用的浏览器模式创建站点，如果有人进入 www.mysite.com，他的用户代理会通过以下方式：

            // Mobile
            if (Request.Browser.IsMobileDevice) return Redirect("/m");

            // Tabļet
            if (Request.UserAgent.Contains("BlackBerry") || (Request.UserAgent.Contains("iPhone") || (Request.UserAgent.Contains("Android")))) return Redirect("/t");

            // Deprecated
            if (Request.Browser.Browser == "IE" && Convert.ToInt32(Request.Browser.Version) < 9) return Redirect("/h");

            // Normaļ
            return View();

问题：如果我限制某些浏览器访问我的主视图，是否也会限制对网络爬虫的访问？

4

2 回答 2

2

取决于爬虫。通常所有主要的爬虫，如谷歌等，只要尊重 robots.txt，其余的都应该是可爬取的。除非有人编写了一个池化编码的爬虫，否则它不会影响您的网站爬取。您还可以尝试使用 nutch 开源网络爬虫来爬取您自己的网站。

于 2013-02-21T17:52:57.060 回答
0

我写了一个简单的网络爬虫来爬取麦当劳的网站。爬虫每次抓取的都是移动网页。因此，对于简单的爬虫，您的设置将限制访问。但是主要的网络爬虫没有这个问题。

于 2013-04-06T04:32:56.153 回答