0

我正在尝试构建一个网站抓取工具来从页面中提取 URL。当我在普通网站上时，刮板工作正常，但我想登录，以便我可以使用网站上的过滤器功能。我使用MechanicalSoup登录并且登录成功，但是当我使用请求移动到页面时，我不再登录。请帮助！

这是我的代码：

from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
import mechanicalsoup

URL = "https://www.morphmarket.com/us/search?q=&sex=&maturity=0&cat=31&min_genes=0&max_genes=9&traits=&neg_traits=&min_price=0&max_price=1000000&cur=USD&sort=nfs&epoch=2&store=&country=&export=&layout=grid&page=1"
LOGIN = "_______"
PASSWORD = "_______"

browser = mechanicalsoup.StatefulBrowser()
browser.open(URL)
browser.select_form('form[action="/accounts/login/"]')
browser.get_current_form().print_summary()
browser["login"] = LOGIN
browser["password"] = PASSWORD
response = browser.submit_selected()
print(browser.get_url())

snake_urls = []
for i in range(1, 3):
    number = str(i)
    my_url = 'https://www.morphmarket.com/us/search?q=&sex=&maturity=0&cat=31&min_genes=0&max_genes=9&traits=&neg_traits=&min_price=0&max_price=1000000&cur=USD&sort=nfs&epoch=2&store=&country=&export=&layout=grid&page=' + number
    uClient = uReq(my_url)
    page_html = uClient.read()
    uClient.close()
    page_soup = soup(page_html, "html.parser")
    containers = page_soup.findAll("div",{"class":"col-md-3 col-sm-4 col-ms-4 col-xs-6 item-col move-up"})

然后我继续进行我的刮...

4

1 回答 1

0

我认为您从机械汤开始连接，但是在使用新请求打开链接之后。如果您使用mechanicalsoup，则不应使用request 或beautifulsoup，因为mechanical soup 已经基于这些库。因此，您没有使用新的请求连接进行连接！所以直接调用browser.open(my_url)，通过浏览器对象使用beautifulsoup。

于 2020-10-19T16:15:32.110 回答