2

我有一个（每天增长的）大约 100 个大 excel 文件的列表，我用 Python 对其进行分析。由于我必须对所有文件运行几个循环，我的分析变得越来越慢。因此，我想将所有 excel 文件转换为羽毛格式（比如每周一次）。有没有聪明的方法来做到这一点？到目前为止我已经尝试过：

path = r"filepath\*_name*.xlsx"
file_list = glob.glob(path)
for f in file_list:
    df = pd.read_excel(f, encoding='utf-8')
    df[['boola', 'boolb']] = dfa[['boola', 'boolb']].astype(int)
    pathname = f[:-5] + ".ftr"
    df.to_feather(pathname)

但我收到以下错误消息：

ArrowInvalid: ('Could not convert stringa with type str: tried to convert to boolean', "Conversion failed for column stringb with type object")
4

2 回答 2

1

这是解决我的问题的方法：

path = r"pathname\*_somename*.xlsx"
file_list = glob.glob(path)
for f in file_list:
    df = pd.read_excel(f, encoding='utf-8', decimal=',', thousands='.')
    for col in df.columns:
            w= (df[[col]].applymap(type) != df[[col]].iloc[0].apply(type)).any(axis=1)
            if len(df[w]) > 0:

                df[col] = df[col].astype(str)

            if df[col].dtype == list:
                df[col] = df[col].astype(str)
    pathname = f[:-4] + "ftr"
    df.to_feather(pathname)
df.head()

这, decimal=',', thousands='.'部分是必要的，因为我的输入文件是按欧洲标准格式化的，即使用逗号作为小数分隔符和点作为千位分隔符

于 2020-05-08T11:37:11.383 回答
0

实际上，您遇到了这个问题，因为命名的列"stringa,stringb"有一些羽毛无法确定的字符，他试图转换为返回错误的其他类型，所以我对之前遇到的相同问题的解决方案是先将列实际转换为字符串，然后替换导致错误的字符：

import pandas as pd
import os
path = 'c://examplepath//'
files = [file for file in os.listdir(path)]
for file in files:
     df = pd.read_excel(path+file)
     df['column'] = df['column'].astype(str)
     df['column'] = df['column'].replace('old charecter causing error','new charecter').astype(str)
     df.to_feather(path+file.split('.')[0]+'.feather')

注意我不认为 pd.read_excel 需要按照文档进行参数编码。

于 2021-09-09T20:12:21.737 回答