问题标签 [sitemap.xml]

我的网站有大约 500.000 页。我制作了 sitemap.xml 并列出了其中的所有页面（我知道每个文件有 50.000 个链接的限制，所以我有 10 个站点地图）。无论如何，我在 webmastertool 中提交了站点地图，一切似乎都很好（没有错误，我可以看到提交和索引链接）。Hoverer 我经常遇到爬虫的问题。GoogleBot 每天 4 次抓取同一页面，但在 sitemap.xml 中我告诉该页面每年都会更改。

这是一个例子

1) 那么如何告诉 GoogleBot 不要频繁爬虫，因为它会使我的服务器超载？

2）该网站有几个页面，如http://www.domain.com/destitution1，http://www.domain.com/destitution2 ......我把规范网址放到http://www.domain.com/穷困潦倒。这可能是多蜘蛛的原因吗？

我只想让我的 MVC5 站点托管在 godaddy 上来处理 sitemap.xml 文件。（mysite.com/sitemap.xml）。

我看过并关注了这篇文章：MVC：如何将 /sitemap.xml 路由到 ActionResult？

1. 在 Web.Config 上添加了处理程序

2. 我为我的 sitemap.xml 文件添加了一条路线：

   /li>

3. 添加了相应的 View 和它的控制器 3.1（\Views\Home 上的 SiteMap.cshtml）和一些 xml contento 3.2 A Home Controller：

   公共 ActionResult SiteMap() { return View(); }

（仅带有示例 xml 文本）

在运行 Visual Studio 时，我可以看到 localhost:xxxx/sitemap.xml 映射。

我将它上传到 Godaddy，然后我得到一个 404 错误（访问 mysite.com/sitemap.xml）

有什么线索吗？我缺少任何步骤吗？

谢谢你的帮助。

即插即用

我们的应用程序正在使用 MvcSiteMapProvider - 2.0.0.0 版本。我们希望在 sitemap.xml 中列出 HTTPS 版本的链接，即使它是 HTTP 请求。

示例：如果请求的 url 是http://dummywebsitefortesting.com/sitemap.xml那么所有的<loc>标签都应该包含 HTTPS 版本 .ie , .....等。

在 2.0.0.0 版本中是否可以满足上述要求？我试图添加 protocol="https" 但没有运气。我试图添加 hostName="www.website1.com" 但也没有运气。

问候，
克里斯

我的网站有一个自定义 robots.txt。我有兴趣禁止 sitemap.xml，所以我的问题是：写下是否足够：

解决了？，几乎..

这与 Chrome (47.0.2526.73) 如何处理 xml 文件有关。我不知道细节，但这段代码在 Firefox (43.0.4) 中运行良好。

我仍然很好奇为什么会这样，或者如何让它在 Chrome 中工作。

我正在尝试做的事情：

创建一个 javascript 小书签来检查404s/500s/等的站点地图 xml链接。

有问题的代码片段：

如果我在域中的任何其他页面上，响应是：

如果我导航到实际的站点地图http://www.example.com/sitemap.xml，相同的代码会响应：

请求的资源上不存在“Access-Control-Allow-Origin”标头。因此，Origin 'null' 不允许访问。

因为我的目标是提供一个可以在站点地图本身上调用的书签，所以这给我的计划带来了麻烦。

如何测试这个：

1）从某个网站找到任何xml。谷歌“filetype:xml 站点地图”并寻找只是一个 xml 文件的响应（你会发现有些会重定向你）。

2) 将上面的代码放在书签中，或直接放在浏览器的开发者控制台中。

3) 确保变量 siteMap 设置为当前 URL。这是为了符合 CORS。你甚至可以做 siteMap=location.href;

您会发现它在 Firefox 中运行良好，但在 Chrome 中却不行。

笔记：

从 HTML 页面执行代码，以 HTML 页面为目标确实有效。
从 HTML 页面执行代码，以 XML 页面为目标确实有效。从 XML 页面执行代码，
以 HTML 页面为目标不起作用 。以 XML 页面为目标，从 XML 页面执行代码不起作用。

我做过的研究：

我能找到的关于这个错误的一切（可以理解）都与：

1. 跨域请求
2. 将源或目标放在 localhost、file:/// 或其他本地机器上。

我的情况不是这些。

我想动态地制作一个 sitemap.xml 文件。如果那时我需要获取控制器中的所有 url 地址，我该如何解决这种事情？

我想做的就是用spring生成sitemap.xml。

sitemap.xml 包含搜索引擎应该在我的网站上抓取的所有 url，这就是我需要这个解决方案的原因。

我将 Sitemap.xml 更改为主文件夹（由谷歌抓取），现在我得到 500 错误无法处理此请求。但我可以在浏览器中连接到 sitemap.xml。这是一个cms contao系统

我只是 seo 的家伙，如果你能帮忙就太酷了！

我认为 htacces 有问题：

我正在尝试将我的 robots.txt 和 sitemap.xml 文件放在 .htaccess 文件夹中，但在网站中找不到。如果有人知道这件事，请帮助我？

我有一个由我的 Symfony 应用程序动态生成的 sitemap.xml 页面。我也使用清漆。我想知道缓存 sitemap.xml 页面是个好主意还是没用？

谢谢。

我已经设置了一个使用 ui-state 路由器的 AngularJS 应用程序。它有一些静态页面，除此之外它还有基于配置文件 ID 生成动态页面的配置文件页面。

出于 SEO 的目的，我使用了 PhantomJS 并生成 HTML 来提供爬虫响应。

但是，如何生成包含所有动态页面 URL 的 sitemap.xml，并且该爬虫可以获取并在搜索引擎上列出？