0

我正在尝试使用位于德国的代理从 eBay.de 抓取一些数据。我尝试了不同的网页来仔细检查它。

import mechanicalsoup

proxies = {"http": "http://.....",
           "https": "https://...."}

browser = mechanicalsoup.StatefulBrowser()
browser.session.proxies = proxies
browser.set_user_agent(
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36')

browser.open('https://www.ebay.de/sch/internet.shop.world/m.html?_nkw=&_armrs=1&_ipg=&_from=/de')
browser.launch_browser()

如果我想在没有 VPN 的情况下使用此代码，但使用我的 ip 地址位于德国以外的代理，我只得到一篇文章。

如果我尝试使用带有德国 vpn 服务器且没有代理的 VPN 进行相同的操作，我会在这里获得更多文章。有没有什么是 vpn 服务器让 ebay 更相信用户来自德国而不是代理？

代理的时区是正确的。

4

1 回答 1

0

尝试使用您的语言在标题中使用接受语言：

headers = {# 'accept-language': 'en-GB,en-US;q=0.8,en;q=0.6,ms;q=0.4',
            'accept-language': 'fr-FR,fr;q=0.9,en-US;q=0.8,en;q=0.7',
          }
browser.set_user_agent(
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36')

browser = mechanicalsoup.StatefulBrowser()
browser.session.proxies = {}
browser.open('https://www.ebay.de/sch/internet.shop.world/m.html?_nkw=&_armrs=1&_ipg=&_from=/de',headers=headers)
browser.launch_browser()
于 2020-03-21T15:03:12.223 回答