我正在使用 Python 从网站上抓取姓名和电话号码。我用熊猫写一个excel文件。
一切正常,但我想弄清楚如何在写入文件时读取文件,从 1000 页完成写入联系人需要数小时,并且该文件仅在程序完成抓取指定的所有页面后才会出现在我的文件夹中。
我的代码如下所示:
list=[]
for contact in contacts:
name = result.find_element_by_xpath('.//div/h2').text
phone=result.find_element_by_xpath('.//ul[@class="phone"]/li')[0].text
list.append((name, phone))
df = pd.DataFrame(list, columns=['Name', 'Telephone'])
writer = pd.ExcelWriter('pandasS.xlsx', engine='xlsxwriter')
df.to_excel(writer, sheet_name='Sheet1')
writer.save()