1

我正在探索 Python,特别是带有 HDF5 的 Pandas,是否是一个合适的环境来进行一些时间序列建模......其结果是我几乎没有经验(还没有!)所以请原谅任何愚蠢的问题。

切入正题,即使将最基本的虚拟数据插入 HDF5 文件,我也遇到了一些问题。我在另一篇文章中关注提供的代码,但是当我开始以存储格式编写代码时,代码执行挂起。我还没有尝试过表格格式,我想先让它工作。我正在运行以下文件。

test_put.py:

from IPython.core.debugger import Tracer; debugStart = Tracer()
import pandas as pd
import numpy as np
import tables

print "Pandas version: " + pd.__version__ # 0.11.0
print "NumPy version: " + np.__version__ # 1.7.1
print "Tables version: " + tables.__version__ # 2.4.0

df = pd.DataFrame(np.random.randn(1000 * 1000, 100),
                  index=range(int(1000 * 1000)),
                  columns=['E%03d' % i for i in xrange(100)])

for x in range(20):
    df['String%03d' % x] = 'string%03d' % x

def test_storer_put():
    store = pd.HDFStore('test_put.h5','w')
    debugStart()
    store['df'] = df
    store.close()

def test_table_put():
    store = pd.HDFStore('test_put.h5','w')
    store.put('df',df,table=True)
    store.close()

test_storer_put()

在 ipython 中使用 ipdb 我有一个对挂线的调用堆栈,如下所示。这一行正在调用 cPickle,我假设它是某种编译库。我不能进一步进入这条线(使用's'),所以我不知道问题是什么。

  ~/test_put.py(20)test_storer_put()
     18     store = pd.HDFStore('test_put.h5','w')
     19     debugStart()
---> 20     store['df'] = df
     21     store.close()
     22

  ~/anaconda/lib/python2.7/site-packages/pandas/io/pytables.py(241)__setitem__()
    239
    240     def __setitem__(self, key, value):
--> 241         self.put(key, value)
    242
    243     def __delitem__(self, key):

  ~/anaconda/lib/python2.7/site-packages/pandas/io/pytables.py(536)put()
    534             table
    535         """
--> 536         self._write_to_group(key, value, table=table, append=append, **kwargs)
    537
    538     def remove(self, key, where=None, start=None, stop=None):

  ~/anaconda/lib/python2.7/site-packages/pandas/io/pytables.py(871)_write_to_group()
    869             raise ValueError('Compression not supported on non-table')
    870
--> 871         s.write(obj = value, append=append, complib=complib, **kwargs)
    872         if s.is_table and index:
    873             s.create_index(columns = index)

  ~/anaconda/lib/python2.7/site-packages/pandas/io/pytables.py(2005)write()
   2003             blk = data.blocks[i]
   2004             # I have no idea why, but writing values before items fixed #2299
-> 2005             self.write_array('block%d_values' % i, blk.values)
   2006             self.write_index('block%d_items' % i, blk.items)
   2007

  ~/anaconda/lib/python2.7/site-packages/pandas/io/pytables.py(1799)write_array()
   1797             vlarr = self._handle.createVLArray(self.group, key,
   1798                                               _tables().ObjectAtom())
-> 1799             vlarr.append(value)
   1800         elif value.dtype.type == np.datetime64:
   1801             self._handle.createArray(self.group, key, value.view('i8'))

  ~/anaconda/lib/python2.7/site-packages/tables/vlarray.py(462)append()
    460         atom = self.atom
    461         if not hasattr(atom, 'size'):  # it is a pseudo-atom
--> 462             sequence = atom.toarray(sequence)
    463             statom = atom.base
    464         else:

  ~/anaconda/lib/python2.7/site-packages/tables/atom.py(1000)toarray()
    998
    999     def toarray(self, object_):
-> 1000         buffer_ = self._tobuffer(object_)
   1001         array = numpy.ndarray( buffer=buffer_, dtype=self.base.dtype,
   1002                                shape=len(buffer_) )

> ~/anaconda/lib/python2.7/site-packages/tables/atom.py(1112)_tobuffer()
   1110
   1111     def _tobuffer(self, object_):
-> 1112         return cPickle.dumps(object_, cPickle.HIGHEST_PROTOCOL)
   1113
   1114     def fromarray(self, array):

挂线范围内的论点是:

ipdb> a
self = ObjectAtom()
object_ = [['string000' 'string001' 'string002' ..., 'string017' 'string018'
  'string019']
 ['string000' 'string001' 'string002' ..., 'string017' 'string018'
  'string019']
 ['string000' 'string001' 'string002' ..., 'string017' 'string018'
  'string019']
 ...,
 ['string000' 'string001' 'string002' ..., 'string017' 'string018'
  'string019']
 ['string000' 'string001' 'string002' ..., 'string017' 'string018'
  'string019']
 ['string000' 'string001' 'string002' ..., 'string017' 'string018'
  'string019']]

在单步执行代码时,我注意到BlockManagerStorer.write()位于上述调用堆栈一半左右的方法正在循环遍历 2 组数据块(第 2002 到 2006 行)。第一个循环运行良好,第二个循环挂起。此外GenericStorer.write_array(),然后在下一个堆栈中调用的方法在value.dtype.type == 'numpy.float64'第一遍中但value.dtype.type == 'numpy.object'在第二遍中导致 io/pytables.py 的第 1785 行上的不同分支被采用。编辑:第一遍是写一个 ~800 Meg 文件,所以它似乎是大部分预期的输出文件。

最后,以防这是与架构/软件风格相关的。我正在运行以下内容:

机器:虚拟机,1 个 CPU,4Gb RAM,64 位
操作系统:Red Hat Enterprise Linux 6(64 位)
软件:几天前通过 anaconda 安装的 Python、Pandas、PyTables 等。希望相关版本号打印在上面的脚本中(作为评论!),但如果其他人合适,请告诉我。

TIA 为詹姆斯提供任何帮助

4

1 回答 1

1

我测试了你的确切配置,除了我使用 debian/squeeze

OS: Linux 2.6.32-5-amd64 #1 SMP Sun Sep 23 10:07:46 UTC 2012 x86_64
In [4]: print "Pandas version: " + pd.__version__ # 0.11.0
Pandas version: 0.11.0

In [5]: print "NumPy version: " + np.__version__ # 1.7.1
NumPy version: 1.7.1

In [6]: print "Tables version: " + tables.__version__ # 2.4.0
Tables version: 2.4.0

在 a 上storer,类似字符串的对象(例如索引/列索引)被腌制(与tables确定类型并以本机格式编写的位置相反)。您的回溯表明它在泡菜中失败了,这很奇怪;可能对 red hat linux 有一些限制,可能是 PyTables 2.4(或 pandas)中的错误。我无法重现。

我会尝试升级到 pandas 0.12、PyTables 3.0.0,看看它是否仍然存在。

无论如何,Table格式应该适合您,并且在任何情况下都可以提供许多优势,请参见此处

于 2013-08-16T12:49:04.010 回答