python - 如何在python中找到页面？

Question

我想要做的是在python中找到一个特定的页面，我的意思是：例如，如果存在它会输出它，如果它不存在那么它不会。我知道，但问题是，查找网站页面的功能是什么？像。我想找到 /test/，如果它不存在，它会说“/test/ 在网站上不存在：test.com”

我需要做什么？

Answer 1

只需检查页面的HTTP 状态代码。使用请求的示例：

>>> import requests
>>> response = requests.get('http://google.com/test')
>>> response.status_code
404
>>> if response.status_code == 404:
...     print "/test/ does not exist on the website: google.com"
... 
/test/ does not exist on the website: google.com

Answer 2

如果您使用类似的库requests，您可以简单地尝试 url。如果返回 404，则该页面不存在。

例如

 r = requests.get('http://test.com/test')
 if r.status_code == 404:
     print "/test/ does not exist on the website: test.com"

Answer 3

您还可以使用内置的 urllib 模块

from urllib import urlopen

response = urlopen('http://stackoverflow.com/questions/17993222/how-do-i-find-a-page-in-python')

if response.getcode() == 200:
    print("page exists")
elif response.getcode() == 404:
    print("page does not exist")