1

我正在使用 pandas HDFStore 来存储我从数据创建的 dfs。

store = pd.HDFStore(storeName, ...)
for file in downloaded_files:
    try:
        with gzip.open(file) as f:
            data = json.loads(f.read())
            df = json_normalize(data)   
            store.append(storekey, df, format='table', append=True)
    except TypeError:
        pass
        #File Error

我收到了错误：

ValueError: Trying to store a string with len [82] in [values_block_2] column but
this column has a limit of [72]!
Consider using min_itemsize to preset the sizes on these columns

我发现可以为所涉及的列设置 min_itemsize 但这不是一个可行的解决方案，因为我不知道我将遇到的最大长度以及我将遇到问题的所有列。

是否有解决方案可以自动捕获此异常并处理它发生的每个项目？

4

1 回答 1

2

我认为你可以这样做：

store.append(storekey, df, format='table', append=True, min_itemsize={'Long_string_column': 200})

create table基本上它与下面的SQL 语句非常相似：

create table df(
  id     int,
  str    varchar(200)
);

其中 200 是列的最大允许长度str

以下链接可能非常有用：

https://www.google.com/search?q=pandas+ValueError%3A+Trying+to+store+a+string+with+len+in+column+but+min_itemsize&pws=0&gl=us&gws_rd=cr

当字符串列内容长于已经存在的内容时，HDFStore.append(string, DataFrame) 失败

Pandas pytable：如何指定 MultiIndex 元素的 min_itemsize

于 2016-06-13T11:25:05.947 回答