新版 Pandas 使用如下界面加载 Excel 文件:
read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])
但是如果我不知道可用的床单怎么办?
例如,我正在使用以下表格的 excel 文件
数据 1、数据 2 ...、数据 N、foo、bar
但我不知道N
先验。
有没有办法从 Pandas 中的 excel 文档中获取工作表列表?
您应该将第二个参数(工作表名称)明确指定为无。像这样:
df = pandas.read_excel("/yourPath/FileName.xlsx", None);
“df”都是作为 DataFrames 字典的工作表,您可以通过运行以下命令来验证它:
df.keys()
结果如下:
[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']
请参阅熊猫文档了解更多详情:https ://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html
This is the fastest way I have found, inspired by @divingTobi's answer. All The answers based on xlrd, openpyxl or pandas are slow for me, as they all load the whole file first.
from zipfile import ZipFile
from bs4 import BeautifulSoup # you also need to install "lxml" for the XML parser
with ZipFile(file) as zipped_file:
summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]
从 excel (xls., xlsx) 中检索工作表名称的最简单方法是:
tabs = pd.ExcelFile("path").sheet_names
print(tabs)enter code here
然后读取和存储特定工作表的数据(例如,工作表名称为“Sheet1”、“Sheet2”等),例如说“Sheet2”:
data = pd.read_excel("path", "Sheet2")
print(data)
我已经尝试过 xlrd、pandas、openpyxl 和其他此类库,随着文件大小在读取整个文件时增加,它们似乎都需要指数级时间。上面提到的其他使用“on_demand”的解决方案对我不起作用。如果您最初只想获取工作表名称,则以下函数适用于 xlsx 文件。
def get_sheet_details(file_path):
sheets = []
file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
# Make a temporary directory with the file name
directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
os.mkdir(directory_to_extract_to)
# Extract the xlsx file as it is just a zip file
zip_ref = zipfile.ZipFile(file_path, 'r')
zip_ref.extractall(directory_to_extract_to)
zip_ref.close()
# Open the workbook.xml which is very light and only has meta data, get sheets from it
path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
with open(path_to_workbook, 'r') as f:
xml = f.read()
dictionary = xmltodict.parse(xml)
for sheet in dictionary['workbook']['sheets']['sheet']:
sheet_details = {
'id': sheet['@sheetId'],
'name': sheet['@name']
}
sheets.append(sheet_details)
# Delete the extracted files directory
shutil.rmtree(directory_to_extract_to)
return sheets
由于所有 xlsx 基本上都是压缩文件,因此我们直接从工作簿中提取底层 xml 数据并读取工作表名称,与库函数相比,这只需几分之一秒。
基准测试:(在 4 张 6mb xlsx 文件上)
Pandas,xlrd: 12 秒
openpyxl: 24 秒
建议方法: 0.4 秒
由于我的要求只是阅读工作表名称,因此阅读整个时间的不必要开销困扰着我,所以我选择了这条路线。
基于@dhwanil_shah 的回答,您不需要提取整个文件。zf.open
可以直接从压缩文件中读取。
import xml.etree.ElementTree as ET
import zipfile
def xlsxSheets(f):
zf = zipfile.ZipFile(f)
f = zf.open(r'xl/workbook.xml')
l = f.readline()
l = f.readline()
root = ET.fromstring(l)
sheets=[]
for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
sheets.append(c.attrib['name'])
return sheets
连续的两个readline
s很丑,但是内容只在正文的第二行。无需解析整个文件。
此解决方案似乎比read_excel
版本快得多,而且很可能也比完整提取版本快。
如果你:
下面以 ~10Mb文件为基准xlsx
。xlsb
xlsx, xls
from openpyxl import load_workbook
def get_sheetnames_xlsx(filepath):
wb = load_workbook(filepath, read_only=True, keep_links=False)
return wb.sheetnames
基准测试: ~ 14 倍速度提升
# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
xlsb
from pyxlsb import open_workbook
def get_sheetnames_xlsb(filepath):
with open_workbook(filepath) as wb:
return wb.sheets
基准测试: ~ 56 倍速度提升
# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
笔记:
xlrd
自 2020 年起不再维护#It will work for Both '.xls' and '.xlsx' by using pandas
import pandas as pd
excel_Sheet_names = (pd.ExcelFile(excelFilePath)).sheet_names
#for '.xlsx' use only openpyxl
from openpyxl import load_workbook
excel_Sheet_names = (load_workbook(excelFilePath, read_only=True)).sheet_names
from openpyxl import load_workbook
sheets = load_workbook(excel_file, read_only=True).sheetnames
对于我正在使用的 5MB Excel 文件,load_workbook
没有read_only
标志需要 8.24 秒。使用read_only
标志只需要 39.6 毫秒。如果您仍然想使用 Excel 库而不是使用 xml 解决方案,那比解析整个文件的方法要快得多。
使用 load_workbook 只读选项,之前被视为明显等待数秒的执行发生在毫秒内。然而,该解决方案仍有待改进。
import pandas as pd
from openpyxl import load_workbook
class ExcelFile:
def __init__(self, **kwargs):
........
.....
self._SheetNames = list(load_workbook(self._name,read_only=True,keep_links=False).sheetnames)
Excelfile.parse 与读取完整 xls 所需的时间相同,大约为 10 秒。此结果是使用具有以下软件包版本的 windows 10 操作系统获得的
C:\>python -V
Python 3.9.1
C:\>pip list
Package Version
--------------- -------
et-xmlfile 1.0.1
numpy 1.20.2
openpyxl 3.0.7
pandas 1.2.3
pip 21.0.1
python-dateutil 2.8.1
pytz 2021.1
pyxlsb 1.0.8
setuptools 49.2.1
six 1.15.0
xlrd 2.0.1
如果你阅读 excel 文件
dfs = pd.ExcelFile('file')
然后使用
dfs.sheet_names
dfs.parse('sheetname')
另一种变体
df = pd.read_excel('file', sheet_name='sheetname')