php - 为需要登录才能查看任何内容的网站制作搜索引擎爬虫的站点地图

Question

我有一个 php mysql 网站，它要求用户在第一页（主页）注册，然后只有他们可以浏览网站的内容。如果用户未登录，每个页面都会生成一个登录表单，并且只有在登录时才会显示内容。唯一可以注册的 IP 是我大学无线网络的 IP。

所以我需要有一个站点地图或其他方式，以便爬虫（每个搜索引擎的）可以查看需要登录的网站的内容。 请仅发布已接受或符合道德的方式。

我目前没有在我的网站内进行搜索，因此用户将无法通过它找到内容，因此我希望他们使用“搜索文本 mydomain.com”轻松通过搜索引擎。

我读了这个stackoverflow问题，但找不到解决方案。

score 1 · Accepted Answer

也许谷歌自定义/网站/企业搜索是一个选项：

它可以访问受保护的内容：

score 0 · Accepted Answer

内容仅对授权用户可见，不应对其他人可见，包括搜索引擎。

如果您想让您的用户搜索您的网站，您应该在您的用户区域中添加搜索功能。这与 Goodle 或任何其他搜索引擎无关。

score 0 · Accepted Answer

我相信您指的是内部网。为仅对某些用户可见的域创建 XML 站点地图、元标记或 robots.txt 文件是完全多余的。你根本不需要。如果他们有登录帐户，他们必须知道该站点存在。

这就像给你想象中的朋友一个名字。;)

3 回答 3