1

我是网络抓取的新手，我想知道当我尝试在谷歌学者中抓取关键词时，最终结果是否会是论文的标题、摘要、年份、出版商和作者。我不确定从这里去哪里。我假设我需要保留我想要的所有属性的列表，但是在网络抓取时如何搜索它们？

from bs4 import BeautifulSoup
import requests, lxml, os, json
import pandas as pd


headers = {
    'User-agent':
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582"
}

params = {
  "q": "Mental Health in Women",
  "hl": "en",
}

html = requests.get('https://scholar.google.com/scholar', headers=headers, params=params).text
soup = BeautifulSoup(html, 'lxml')
4

0 回答 0