web-crawler - 搜索引擎如何唯一标识网络上的每个页面

Question

如果我写了一个链接是“example.com/abc.php”的帖子，并且这个帖子在搜索引擎中排名。

几天后，我更新了这篇文章，包括它的内容以及它到“xyz.php”的永久链接。

因此，现在之前 URL 为“example.com/abc.php”的帖子已更新为“example.com/xyz.php”。

那么搜索引擎将如何知道这是已经与 URL example.com/abc.php 排名相同的页面/帖子。并且需要在不影响排名的情况下将搜索结果中的链接更新为“example.com/xyz.php”。

在创建更新永久链接之前和之后的搜索引擎唯一标识页面的新帖子时，是否需要在代码中编写任何标签或其他内容？

注意：-本网站是通过编码开发的，而不是使用 CMS。使用的语言是 HTML、CSS、JavaScript 和 PHP。

Answer 1

搜索引擎在爬虫的帮助下唯一地识别网页。使用他们的网络爬虫抓取了数千亿个页面。这些通常被称为搜索引擎机器人或蜘蛛。搜索引擎通过下载网页并跟踪这些页面上的链接来导航 Web URL，以查找可用的新页面。