python - 使用 bs4 翻译后抓取页面

Question

我正在尝试通过将其转换为英文来抓取法国的页面。

这是我在 python 中使用漂亮的汤和请求包的代码。

import requests
from bs4 import BeautifulSoup
url = '<url>'
headers = {"Accept-Language": "en,en-gb;q=0.5"}
r = requests.get(url, headers=headers)
c = r.content
soup = BeautifulSoup(c)

但这仍然是法语文本。

任何人都可以建议更改/替代代码。

Answer 1

您可以利用TextBlob将字符串转换为各种语言，这是从法语 ebay 网站转换跨度的示例：

import requests
from bs4 import BeautifulSoup
from textblob import TextBlob

url = 'https://www.ebay.fr/'
french = []
english = []
r = requests.get(url)
c = r.content
soup = BeautifulSoup(c)
for li in soup.find_all('span'):
    french.append(li.text)

Frenchstr = ''.join(french)
blob = TextBlob(Frenchstr)
print(Frenchstr)
Englishstr = blob.translate(to="EN")
print('------------------------------------------------')
print(Englishstr)