0

我正在学习 Python，我正在尝试创建一个函数来从几个不同的网页中抓取疫苗接种率表 - 我们的世界数据的 github 存储库https://github.com/owid/covid-19-data/tree /master/public/data/vaccinations/country_data和https://ourworldindata.org/about。当网络抓取单个表格并将其保存到数据框中时，该代码可以完美运行......

import requests  
from bs4 import BeautifulSoup 
import pandas as pd

url = "https://github.com/owid/covid-19-data/blob/master/public/data/vaccinations/country_data/Bangladesh.csv"
response = requests.get(url) 
response

scraping_html_table_BD = BeautifulSoup(response.content, "lxml") 
scraping_html_table_BD = scraping_html_table_BD.find_all("table", "js-csv-data csv-data js-file-line-container")
df = pd.read_html(str(scraping_html_table_BD))
BD_df = df[0]

但是在尝试创建一个抓取几页的函数时，我运气不佳。我一直在关注本网站3中“使用一个脚本抓取多个页面”部分的教程以及 StackOverflow 问题（例如4和5等其他页面）。我曾尝试先创建一个全局变量，但最终出现“递归错误：调用 Python 对象时超出最大递归深度”之类的错误。这是我管理过的最好的代码，因为它不会产生错误，但我没有设法将输出保存到全局变量中。我真的很感谢你的帮助。

import pandas as pd  
from bs4 import BeautifulSoup
import requests

link_list = ['/Bangladesh.csv',
             '/Nepal.csv',
              '/Mongolia.csv']

def get_info(page_url):
    page = requests.get('https://github.com/owid/covid-19-data/tree/master/public/data/vaccinations/country_data' + page_url)
    scape = BeautifulSoup(page.text, 'html.parser')    
    vaccination_rates = scape.find_all("table", "js-csv-data csv-data js-file-line-container")
    result = {}

    df = pd.read_html(str(vaccination_rates))
    vaccination_rates = df[0]
    df = pd.DataFrame(vaccination_rates)
    print(df)
    df.to_csv("testdata.csv", index=False)

     
for link in link_list:
    get_info(link)

编辑：我可以查看在保存到 csv 文件时迭代的最终网页，但不能查看来自前面链接的数据。

new = pd.read_csv('testdata6.csv')
pd.set_option("display.max_rows", None, "display.max_columns", None)
new
4

2 回答 2

0

这是因为在每次迭代中，您的“testdata.csv”都会被一个新的覆盖。所以你可以这样做： df.to_csv(page_url[1:], index=False)

于 2021-05-28T01:30:16.067 回答
0

我猜您每次都在覆盖您的“testdata.csv”，因此您可以看到最后一页。每次抓取页面时，我都会添加一个枚举函数来为单独的 csv 添加一个标识符，例如：

for key, link in enumerate(link_list):
get_info(link, key)
...
df.to_csv(f"testdata{key}.csv", index=False)

或者，将此 csv 作为 get_info 函数的一部分打开，其步骤可在将新行附加到旧 csv 文件 python中获得。

于 2021-05-28T01:30:31.367 回答