python - xls to csv converter

Question

I am using win32.client in python for converting my .xlsx and .xls file into a .csv. When I execute this code it's giving an error. My code is:

def convertXLS2CSV(aFile):
    '''converts a MS Excel file to csv w/ the same name in the same directory'''

    print "------ beginning to convert XLS to CSV ------"

    try:
        import win32com.client, os
        from win32com.client import constants as c
        excel = win32com.client.Dispatch('Excel.Application')

        fileDir, fileName = os.path.split(aFile)
        nameOnly = os.path.splitext(fileName)
        newName = nameOnly[0] + ".csv"
        outCSV = os.path.join(fileDir, newName)
        workbook = excel.Workbooks.Open(aFile)
        workbook.SaveAs(outCSV, c.xlCSVMSDOS) # 24 represents xlCSVMSDOS
        workbook.Close(False)
        excel.Quit()
        del excel

        print "...Converted " + nameOnly + " to CSV"
    except:
        print ">>>>>>> FAILED to convert " + aFile + " to CSV!"

convertXLS2CSV("G:\\hello.xlsx")

I am not able to find the error in this code. Please help.

Answer 1

我会使用 xlrd - 它更快，跨平台并且直接与文件一起使用。

从版本 0.8.0 开始，xlrd读取 XLS 和 XLSX 文件。

但从2.0.0 版本开始，支持减少到只有XLS。

import xlrd
import csv

def csv_from_excel():
    wb = xlrd.open_workbook('your_workbook.xls')
    sh = wb.sheet_by_name('Sheet1')
    your_csv_file = open('your_csv_file.csv', 'wb')
    wr = csv.writer(your_csv_file, quoting=csv.QUOTE_ALL)

    for rownum in xrange(sh.nrows):
        wr.writerow(sh.row_values(rownum))

    your_csv_file.close()

Answer 2

我会用pandas. 计算量大的部分是用 cython 或 c-extensions 编写的，以加快处理速度，语法非常简洁。例如，如果要将“Sheet1”从文件“your_workbook.xls”转换为文件“your_csv.csv”，只需使用顶级函数read_excel和类中的方法to_csv，DataFrame如下所示：

import pandas as pd
data_xls = pd.read_excel('your_workbook.xls', 'Sheet1', index_col=None)
data_xls.to_csv('your_csv.csv', encoding='utf-8')

设置encoding='utf-8'缓解了UnicodeEncodeError其他答案中提到的问题。

Answer 3

也许有人发现这段即用型代码很有用。它允许从 Excel 工作簿中的所有电子表格创建 CSV。

蟒蛇2：

# -*- coding: utf-8 -*-
import xlrd
import csv
from os import sys
 
def csv_from_excel(excel_file):
    workbook = xlrd.open_workbook(excel_file)
    all_worksheets = workbook.sheet_names()
    for worksheet_name in all_worksheets:
        worksheet = workbook.sheet_by_name(worksheet_name)
        with open(u'{}.csv'.format(worksheet_name), 'wb') as your_csv_file:
            wr = csv.writer(your_csv_file, quoting=csv.QUOTE_ALL)
            for rownum in xrange(worksheet.nrows):
                wr.writerow([unicode(entry).encode("utf-8") for entry in worksheet.row_values(rownum)])

if __name__ == "__main__":
    csv_from_excel(sys.argv[1])

蟒蛇 3：

import xlrd
import csv
from os import sys

def csv_from_excel(excel_file):
    workbook = xlrd.open_workbook(excel_file)
    all_worksheets = workbook.sheet_names()
    for worksheet_name in all_worksheets:
        worksheet = workbook.sheet_by_name(worksheet_name)
        with open(u'{}.csv'.format(worksheet_name), 'w', encoding="utf-8") as your_csv_file:
            wr = csv.writer(your_csv_file, quoting=csv.QUOTE_ALL)
            for rownum in range(worksheet.nrows):
                wr.writerow(worksheet.row_values(rownum))

if __name__ == "__main__":
    csv_from_excel(sys.argv[1])

Answer 4

我会使用csvkit，它使用 xlrd（用于 xls）和 openpyxl（用于 xlsx）将几乎任何表格数据转换为 csv。

一旦安装，它的依赖关系，它是一个问题：

python in2csv myfile > myoutput.csv

它处理所有格式检测问题，因此您可以传递它几乎任何表格数据源。它也是跨平台的（不依赖于 win32）。

Answer 5

首先将您的excel电子表格读入pandas，下面的代码会将您的excel电子表格作为OrderedDict类型导入pandas，其中包含您所有的工作表作为数据框。然后只需使用 worksheet_name 作为键来访问特定工作表作为数据框，并使用 df.to_csv() 仅将所需的工作表保存为 csv 文件。希望这会在你的情况下锻炼。

import pandas as pd
df = pd.read_excel('YourExcel.xlsx', sheet_name=None)
df['worksheet_name'].to_csv('YourCsv.csv')  

如果您的 Excel 文件仅包含一个工作表，则只需使用以下代码：

import pandas as pd
df = pd.read_excel('YourExcel.xlsx')
df.to_csv('YourCsv.csv') 

如果有人想将所有 excel 工作表从单个 excel 工作簿转换为不同的 csv 文件，请尝试以下代码：

import pandas as pd
def excelTOcsv(filename):
    df = pd.read_excel(filename, sheet_name=None)  
    for key, value in df.items(): 
        return df[key].to_csv('%s.csv' %key)

此功能作为同一个 Excel 工作簿的多个 Excel 工作表到多个 csv 文件转换器。其中 key 是工作表名称，value 是工作表内的内容。

Answer 6

@andi 我测试了你的代码，效果很好，但是

在我的床单里有这样一列

2013-03-06T04:00:00

同一单元格中的日期和时间

导出时出现乱码，导出文件中是这样的

41275.0416667

其他列都可以。

另一方面，csvkit 可以使用该列，但只导出一张纸，而且我的文件有很多。

Answer 7

xlsx2csv比pandas 和 xlrd快。

xlsx2csv -s 0 crunchbase_monthly_.xlsx cruchbase

excel 文件通常带有 n 个工作表名称。

-s is sheetname index.

然后，将创建 cruchbase 文件夹，属于 xlsx 的每个工作表都将转换为单个 csv。

ps csvkit也很棒。

Answer 8

Python 不是完成这项任务的最佳工具。我在 Python 中尝试了几种方法，但都没有 100% 有效（例如 10% 转换为 0.1，或者列类型混乱等）。这里的正确工具是 PowerShell，因为它是 MS 产品（与 Excel 一样）并且具有最佳集成。

只需下载此PowerShell 脚本，编辑第 47 行以输入包含 Excel 文件的文件夹的路径，然后使用 PowerShell 运行脚本。

Answer 9

引用Scott Ming的回答，它适用于包含多张工作表的工作簿：

这是一个 python 脚本getsheets.py ( mirrorpandas ) ，你应该xlrd在使用它之前安装它。

运行这个：

pip3 install pandas xlrd  # or `pip install pandas xlrd`

它是如何工作的？

$ python3 getsheets.py -h
Usage: getsheets.py [OPTIONS] INPUTFILE

Convert a Excel file with multiple sheets to several file with one sheet.

Examples:

    getsheets filename

    getsheets filename -f csv

Options:
-f, --format [xlsx|csv]  Default xlsx.
-h, --help               Show this message and exit.

转换成几个xlsx：

$ python3 getsheets.py goods_temp.xlsx
Sheet.xlsx Done!
Sheet1.xlsx Done!

All Done!

转换成几个csv：

$ python3 getsheets.py goods_temp.xlsx -f csv
Sheet.csv Done!
Sheet1.csv Done!

All Done!

getsheets.py：

# -*- coding: utf-8 -*-

import click
import os
import pandas as pd


def file_split(file):
    s = file.split('.')
    name = '.'.join(s[:-1])  # get directory name
    return name


def getsheets(inputfile, fileformat):
    name = file_split(inputfile)
    try:
        os.makedirs(name)
    except:
        pass

    df1 = pd.ExcelFile(inputfile)
    for x in df1.sheet_names:
        print(x + '.' + fileformat, 'Done!')
        df2 = pd.read_excel(inputfile, sheetname=x)
        filename = os.path.join(name, x + '.' + fileformat)
        if fileformat == 'csv':
            df2.to_csv(filename, index=False)
        else:
            df2.to_excel(filename, index=False)
    print('\nAll Done!')


CONTEXT_SETTINGS = dict(help_option_names=['-h', '--help'])


@click.command(context_settings=CONTEXT_SETTINGS)
@click.argument('inputfile')
@click.option('-f', '--format', type=click.Choice([
    'xlsx', 'csv']), default='xlsx', help='Default xlsx.')
def cli(inputfile, format):
    '''Convert a Excel file with multiple sheets to several file with one sheet.

    Examples:

    \b
        getsheets filename

    \b
        getsheets filename -f csv
    '''
    if format == 'csv':
        getsheets(inputfile, 'csv')
    else:
        getsheets(inputfile, 'xlsx')


cli()

Answer 10

我们可以使用 Python 的 Pandas lib 将 xls 文件转换为 csv 文件 下面的代码将 xls 文件转换为 csv 文件。将熊猫导入为 pd

从本地路径读取 Excel 文件：

df = pd.read_excel("C:/Users/IBM_ADMIN/BU GPA Scorecard.xlsx",sheetname=1)

列上存在的修剪空间：

df.columns = df.columns.str.strip()

将数据帧发送到 CSV 文件，该文件将被管道符号分隔且没有索引：

df.to_csv("C:/Users/IBM_ADMIN/BU GPA Scorecard csv.csv",sep="|",index=False)

Answer 11

我已经测试了所有答案，但它们对我来说都太慢了。如果您安装了 Excel，则可以使用 COM。

我最初认为它会更慢，因为它会为实际的 Excel 应用程序加载所有内容，但它不适用于大文件。也许是因为打开和保存文件的算法运行了经过高度优化的编译代码，微软人毕竟为此赚了很多钱。

import sys
import os
import glob
from win32com.client import Dispatch

def main(path):
    excel = Dispatch("Excel.Application")
    if is_full_path(path):
        process_file(excel, path)
    else:
        files = glob.glob(path)
        for file_path in files:
            process_file(excel, file_path)
    excel.Quit()

def process_file(excel, path):
    fullpath = os.path.abspath(path)
    full_csv_path = os.path.splitext(fullpath)[0] + '.csv'
    workbook = excel.Workbooks.Open(fullpath)
    workbook.Worksheets(1).SaveAs(full_csv_path, 6)
    workbook.Saved = 1
    workbook.Close()


def is_full_path(path):
    return path.find(":") > -1

if __name__ == '__main__':
    main(sys.argv[1])

这是非常原始的代码，不会检查错误、打印帮助或任何内容，它只会为与您在函数中输入的模式匹配的每个文件创建一个 csv 文件，这样您就可以批量处理大量文件，仅启动 excel 应用程序一次。

Answer 12

使用 xlrd 是一种有缺陷的方法，因为您会丢失 Excel 中的日期格式。

我的用例如下。

获取一个包含多个工作表的 Excel 文件，并将每个工作表转换为自己的文件。

我已经使用 xlsx2csv 库完成了这项工作，并使用子进程调用了它。

import csv
import sys, os, json, re, time
import subprocess

def csv_from_excel(fname):
    subprocess.Popen(["xlsx2csv " + fname + " --all -d '|' -i -p "
                      "'<New Sheet>' > " + 'test.csv'], shell=True)

    return

lstSheets = csv_from_excel(sys.argv[1])

time.sleep(3) # system needs to wait a second to recognize the file was  written

with open('[YOUR PATH]/test.csv') as f:
    lines = f.readlines()
    firstSheet = True

    for line in lines:
        if line.startswith('<New Sheet>'):
            if firstSheet:
                sh_2_fname = line.replace('<New Sheet>', '').strip().replace(' - ', '_').replace(' ','_')
                print(sh_2_fname)
                sh2f = open(sh_2_fname+".csv", "w")
                firstSheet = False
            else:
                sh2f.close()
                sh_2_fname = line.replace('<New Sheet>', '').strip().replace(' - ', '_').replace(' ','_')
                print(sh_2_fname)
                sh2f = open(sh_2_fname+".csv", "w")
        else:
            sh2f.write(line)
sh2f.close()

Answer 13

尽管我讨厌依赖非跨平台的 Windows Excel 专有软件，但我对在后台使用的csvkit.xls的测试xlrd未能正确解析日期（即使使用命令行参数指定 strptime 格式） .

例如，这个 xls 文件，当用 解析时csvkit，会将单元格转换为G1，而当通过 excel -> save_as （使用下面）转换为 csv 时，单元格将是.12/31/200237621G1"December 31, 2002"

import re
import os
from win32com.client import Dispatch
xlCSVMSDOS = 24

class CsvConverter(object):
    def __init__(self, *, input_dir, output_dir):
        self._excel = None
        self.input_dir = input_dir
        self.output_dir = output_dir

        if not os.path.isdir(self.output_dir):
            os.makedirs(self.output_dir)

    def isSheetEmpty(self, sheet):
        # https://archive.is/RuxR7
        # WorksheetFunction.CountA(ActiveSheet.UsedRange) = 0 And ActiveSheet.Shapes.Count = 0

        return \
            (not self._excel.WorksheetFunction.CountA(sheet.UsedRange)) \
            and \
            (not sheet.Shapes.Count)

    def getNonEmptySheets(self, wb, as_name=False):
        return [ \
            (sheet.Name if as_name else sheet) \
            for sheet in wb.Sheets \
            if not self.isSheetEmpty(sheet) \
        ]

    def saveWorkbookAsCsv(self, wb, csv_path):
        non_empty_sheet_names = self.getNonEmptySheets(wb, as_name=True)

        assert (len(non_empty_sheet_names) == 1), \
            "Expected exactly 1 sheet but found %i non-empty sheets: '%s'" \
            %(
                len(non_empty_sheet_names),
                "', '".join(name.replace("'", r"\'") for name in non_empty_sheet_names)
            )

        wb.Worksheets(non_empty_sheet_names[0]).SaveAs(csv_path, xlCSVMSDOS)
        wb.Saved = 1

    def isXlsFilename(self, filename):
        return bool(re.search(r'(?i)\.xls$', filename))

    def batchConvertXlsToCsv(self):
        xls_names = tuple( filename for filename in next(os.walk(self.input_dir))[2] if self.isXlsFilename(filename) )

        self._excel = Dispatch('Excel.Application')
        try:
            for xls_name in xls_names:
                csv_path = os.path.join(self.output_dir, '%s.csv' %os.path.splitext(xls_name)[0])
                if not os.path.isfile(csv_path):
                    workbook = self._excel.Workbooks.Open(os.path.join(self.input_dir, xls_name))
                    try:
                        self.saveWorkbookAsCsv(workbook, csv_path)
                    finally:
                        workbook.Close()
        finally:
            if not len(self._excel.Workbooks):
                self._excel.Quit()

            self._excel = None

if __name__ == '__main__':
    self = CsvConverter(
        input_dir='C:\\data\\xls\\',
        output_dir='C:\\data\\csv\\'
    )

    self.batchConvertXlsToCsv()

上面将采用input_dir包含 .xls 并将它们输出output_dir为 .csv - .xlsassert中恰好有 1 个非空工作表；如果您需要将多张工作表处理成多个 csv，那么您需要编辑saveWorkbookAsCsv.

Answer 14

我试图使用xlrd库将格式转换xlsx为csv，但出现错误：xlrd.biffh.XLRDError: Excel xlsx file; not supported. 这是因为这个包不再读取任何其他格式，除非xls根据xlrd 文档。

根据Chris Withers的回答，我能够将函数的引擎read_excel()从更改为pandas，然后我能够创建一个函数，该函数可以从您想要成功的 Excel 电子表格中转换任何工作表。
为了使用下面的功能，不要忘记从这里openpyxl安装库。

功能：

import os
import pathlib
import pandas as pd

# Function to convert excel spreadsheet into csv format
def Excel_to_csv():
    # Excel file full path
    excel_file = os.path.join(os.path.sep, pathlib.Path(__file__).parent.resolve(), "Excel_Spreadsheet.xlsx")    
    # Excel sheets
    excel_sheets = ['Sheet1', 'Sheet2', 'Sheet3']

    for sheet in excel_sheets:
        # Create dataframe for each sheet
        df = pd.DataFrame(pd.read_excel(excel_file, sheet, index_col=None, engine='openpyxl'))
        # Export to csv. i.e: sheet_name.csv
        df.to_csv(os.path.join(os.path.sep, pathlib.Path(__file__).parent.resolve(), sheet + '.csv'), sep=",", encoding='utf-8', index=False, header=True)

# Runs the excel_to_csv function:
Excel_to_csv()