我有一个网站，用户可以在其中输入他们的个人资料并用密码保护某些详细信息。我希望搜索引擎抓取配置文件的“未受保护”部分（因用户而异）。类似于在 facebook 中输入用户的姓名，他们的 Facebook 个人资料会出现在搜索结果中。我是否需要做任何特别的事情来确保机器人不会爬取受密码保护的部分，但仍会爬取（始终公开的）用户名？我不确定这是否是一个问题，但我想更新我的 robots.txt 以允许这样做。
另外，我如何确保机器人可以使用用户名（以安全的方式）？我是否必须使用名称列表创建一个单独的目录，还是有更好的方法？
感谢您的任何建议
搜索引擎只会索引匿名用户看到的内容。如果您还没有，我会创建一个列表页面来浏览您只显示您想要的数据的用户配置文件。这样可以确保userProfile.aspx?uid=XXXXXX您拥有的每个链接都存在。搜索引擎蜘蛛将无法看到受密码保护的任何数据。
我还会添加一个站点地图，以确保搜索引擎蜘蛛到达列表页面。不要以为 Google 会神奇地找到您的所有页面，尽管它们通常会根据指向您的内容的链接找到。向 Google 提交站点地图。
编辑站点地图和搜索结果
为了让蜘蛛爬取搜索结果，我将在站点地图中指定一个条目，将蜘蛛指向显示全部的搜索结果页面（例如 search.aspx?param=all）。
你不必做任何事情。只要您没有在 robots.txt 上明确禁止，搜索机器人将无法访问您的受保护网页，但它们可以毫无问题地访问公共内容