python - 创建 python 脚本以登录网站并提取 HTML 数据

Question

嗨，我希望有人可以帮助我，

我正在尝试创建一个脚本来登录网站并从我安装了 BeautifulSoup 的 HTML 中提取一个值，并且我尝试使用 curl 但我似乎无法登录到该网站。网站上的 HTML 使用 j_username" 和 j_password

谢谢

Answer 1

使用requests模块。要使用基本身份验证检索 HTML：

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> html = r.text

然后用于bs4解析 HTML 以获得您需要的特定内容。