当我在 Mac 上的 Safari、Chrome 或 Firefox 中“查看源代码”(使用 cmd-I )时,我看到:
<html>
<head></head>
<body>
<pre style="word-wrap: break-word; white-space: pre-wrap;">…</pre>
</body>
</html>
HTML 来自哪里?
谷歌的机器人文件只是一个例子——我在所有浏览器中对所有文本文件都得到了相同的结果。
我之所以问,是因为我正在编写一个 Python 程序来生成 robots.txt 和 sitemap.txt 文件,并且我想确保发送了正确的标头。
在源代码中看到 HTML 让我担心我的标题不正确。
Google 的 robots.txt 文件具有相同的 HTML 的事实让我确信这是正常的,但我想知道为什么会这样。
自 1995 年以来,我一直在构建网站,并且不记得曾经注意到过这种行为。