我已经构建了一个只有一页的 Twitter 客户端:index.html。使用时,它会从 JSON 提要中提取内容以填充各种列。问题是几乎没有任何流量来自谷歌,除了对网站域名的搜索。这是因为 Google 仅在 index.html 为空且用户输入任何要查找的 Twitter 用户名之前抓取 index.html。
当我试图抓取 index.html 而不仅仅是 index.html (或另外)时,我如何让 Google 蜘蛛抓取也说 index.html#CNN (即 site.com/#CNN)或 index.html#whitehouse这些页面的所有内容也将被抓取,因此用户可以通过搜索其中的术语来访问。