问题标签 [sitemap.xml]

我知道这个问题可能看起来令人困惑和/或重复的问题。我已经搜索了以前的问题，但找不到适合我情况的问题。

我正在使用 Codeigniter。我的老板要求我构建一个控制器（或者如果可能的话，用 php 编写一个应用程序）来为站点自动生成一个 sitemap.xml。站点地图应遵循以下结构：

它还应该包括不在网络上但在数据库上的信息。我对此感到困惑，因为据我所知，站点地图是基于该站点的链接。（再说一次，我对 xml 一无所知，所以这是我所有困惑的原因）。

例如，网站的一部分有一个“新闻源”，它显示了数据库中最新的 5 条新闻。我的老板想要的是将旧新闻也编入索引。

我应该指出，该站点使用两个不同的数据库。一个用于新闻源上的新闻，另一个用于站点中的其他产品。（每个产品都有自己的链接，有些产品不仅在数据库上，而且我的老板希望这些产品在站点地图上）。

任何关于如何做到这一点的想法将不胜感激，因为我不知道从哪里开始。

谢谢你的时间

嘿，我有一个可以通过 2 个不同的 url 访问的模型（取决于域）。我在视图和模板中像这样使用它们没有问题。

在构建站点地图时，get_absolute_url 不应该返回相同的结果，所以我想：我可以子类化模型并覆盖 get_absolute_url 方法：

然后将这个子类模型用于站点地图类

但是当我访问 /sitemap.xml django 仍然从原始模型调用 get_absolute_url

django 在这里有什么黑魔法吗？还是我错过了一些明显的东西？

更新

我尝试删除 abstract = True 部分并使用 class Meta: db_table = 'same_table_as_base_model'

但是现在 django 抱怨找不到列。

我尝试抓取 sitemap.xml 的所有链接以重新缓存网站。但是 wget 的递归选项不起作用，我只得到响应：

远程文件存在但不包含任何链接——不检索。

但可以肯定的是，sitemap.xml 中充满了“http://...”链接。

我几乎尝试了 wget 的所有选项，但对我没有任何帮助：

有谁知道如何打开网站 sitemap.xml 中的所有链接？

谢谢，多米尼克

We have sitemap.xml with URLs and google analytics started to throw errors like this not available, not found, etc...

We have English and Croatian store. When you try to open (while on Croatian store) for example this url it will be a 404 page.

Switch to English store: it works fine.

Anyone having idea what to do?

PS. Client don't want store code in URL

在我们的 sitecore 6.6.0 (rev. 130404) 项目中，我们在根文件夹中有一个 sitemap.xml 文件。但是，由于 web.config 中的配置，无法从浏览器访问该文件。

此配置已按照sitecore 安全强化指南中的说明添加。

如果我们删除此配置，用户就可以访问 sitecore 文件夹中的任何 .xml 文件。我们如何只允许访问 sitemap.xml 而不允许访问网站中的其他 xml 文件？

（我们在 IIS7 集成模式下运行）

目前我们使用 Apache Solr 作为搜索引擎，使用 Apache Nutch 作为 Crawler。现在我们创建了一个站点站点，其中包含动态生成的产品。

由于当前设置将在内容字段中搜索内容，因此每当我们搜索动态产品时，它不会出现在搜索结果中。

您能否指导我如何将页面上的动态产品抓取并索引到 Apache Solr？我们可以使用 Sitemap.xml 执行此操作吗？如果可以，请建议如何操作？

谢谢！

我想阅读 robots.txt 文件 (www.abcd.com/robots.txt) 的文本，其中包含来自我的 C# 应用程序的站点地图 url。如果 robots.txt 文件中存在站点地图 url，我必须使用 if else 来生成警报，然后它显示“是”并且它不包含站点地图 url，那么它将显示“否”。

Robots.txt 文件文本如下所示：

我如何从 robots.txt 文件中读取此站点地图文本，因为 robots.txt 也是一个链接，实际上不是文本文件。它是 www.abcd.com/robots.txt

我有一个网站有超过 1 种语言，我会优化我的 sitemap.xml，使其包含所有可用的语言 - 我在 Google 网站管理员工具上找到了本指南，以使用 XHTML 提供所有可用的 URL（每种语言一个）和这会破坏 XML 文件，我已将属性更改为所描述的，但它仍然被破坏 - Chrome、Firefox 或 IE 无法正确读取文件。

这是正常的吗？

以下是 Google Webmaster Tools 提供的 sitemap.xml 示例：

我希望我的 sitemap.xml 对用户不可见。目前，站点地图索引和站点地图位于站点的根目录，我将其包含在 robots.txt 中。

当我们开始使用它并使用我们业务领域中没有其他人正在做的很酷的东西来调整它时，我们希望隐藏它。

我总是可以用奇怪的名字命名我的站点地图索引和站点地图，然后仍然将它们放在站点的根目录，通过 Google 网站管理员工具和 robots.txt 自己手动提交，这样它就不会指向它。

但即使在那里，也有足够幸运或足够聪明的人找到它。

我想知道是否有办法提交未上传到我们网站的站点地图。

我想知道为 Angular spa 应用程序生成站点地图的做法。

基本上我有一个主页，以及其他用户可以发布各种条目的页面，有点像论坛。非常简单。

想知道与普通的非水疗站点相比，生成站点地图有什么不同。

另请注意，从今年 5 月开始，google 能够索引 javascript 生成的页面。

http://googlewebmastercentral.blogspot.ro/2014/05/understanding-web-pages-better.html