python - 将网站源下载到文件夹的脚本

Question

我正在尝试学习简单的自动化。我已经设置了一个 Ubuntu 服务器，我想将其配置为从特定 URL 下载 html 源代码，并每 1 分钟附加到服务器上指定文件夹中的文件。

该 URL 只是基本的 html，没有任何 CSS。

我想使用 python，但诚然可以使用任何语言。什么是做这件事的好，简单的一天？

Answer 1

只需点安装请求库。

$ pip install requests

然后，获取 HTML 非常容易（将其放入名为 get_html.py 的文件中，或任何您喜欢的名称）：

import requests

req = requests.get('http://docs.python-requests.org/en/latest/user/quickstart/')

print(req.text)

将 HTML 保存到目录有多种选择。例如，您可以通过如下调用将上述脚本的输出重定向到文件：

 python get_html.py > file.html

希望这可以帮助

Answer 2

杰夫的答案一次性使用。您可以这样做以重复运行它-

import time
import requests

while True:
    with open('filename.extension', 'a') as fp:
        newHtml = requests.get('url').text
        fp.write(newHtml)
    time.sleep(60)

您可以根据需要将其作为后台进程运行。

$ python3 script_name.py &