1

我有一个以这种格式到达的数据：

[
  (1, "000010101001010101011101010101110101", "aaa", ... ),
  (0, "111101010100101010101110101010111010", "bb", ... ),
  (0, "100010110100010101001010101011101010", "ccc", ... ),
  (1, "000010101001010101011101010101110101", "ddd", ... ),
  (1, "110100010101001010101011101010111101", "eeee", ... ),
  ...
]

在元组格式中，它看起来像这样：

(Y, X, other_info, ... )

归根结底，我需要使用 Y 和 X 训练一个分类器（例如 sklearn.linear_model.logistic.LogisticRegression）。

将一串零和一串变成类似 np.array 的最直接的方法是什么，以便我可以通过分类器运行它？似乎这里应该有一个简单的答案，但我一直无法想到/谷歌一个。

几点注意事项：

  • 我已经在使用 numpy/pandas/sklearn，所以这些库中的任何东西都是公平的游戏。
  • 对于我正在做的很多事情，将 other_info 列放在 DataFrame 中很方便
  • 字符串很长（约 20,000 列），但总数据框不是很高（约 500 行）。
4

2 回答 2

8

由于您主要要求将一串 1 和 0 转换为 numpy 数组的方法，因此我将提供如下解决方案：

d = '0101010000' * 2000 # create a 20,000 long string of 1s and 0s
d_array = np.fromstring(d, 'int8') - 48 # 48 is ascii 0. ascii 1 is 49

就速度而言，这与@DSM 的解决方案相比是有利的：

In [21]: timeit numpy.fromstring(d, dtype='int8') - 48
10000 loops, best of 3: 35.8 us per loop

In [22]: timeit numpy.fromiter(d, dtype='int', count=20000)
100 loops, best of 3: 8.57 ms per loop
于 2012-09-04T10:55:12.960 回答
2

像这样的东西怎么样：

制作数据框：

In [82]: v = [
   ....:     (1, "000010101001010101011101010101110101", "aaa"),
   ....:     (0, "111101010100101010101110101010111010", "bb"),
   ....:     (0, "100010110100010101001010101011101010", "ccc"),
   ....:     (1, "000010101001010101011101010101110101", "ddd"),
   ....:     (1, "110100010101001010101011101010111101", "eeee"),
   ....:     ]

In [83]: 

In [83]: df = pandas.DataFrame(v)

我们可以使用fromiterorarray来获得ndarray：

In [84]: d ="000010101001010101011101010101110101"

In [85]: np.fromiter(d, int) # better: np.fromiter(d, int, count=len(d))
Out[85]: 
array([0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 1, 0,
       1, 0, 1, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1])

In [86]: np.array(list(d), int)
Out[86]: 
array([0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 1, 0,
       1, 0, 1, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1])

可能有一种巧妙的矢量化方式来做到这一点，但我只需将明显的 per-entry 函数应用于值并继续我的一天：

In [87]: df[1]
Out[87]: 
0    000010101001010101011101010101110101
1    111101010100101010101110101010111010
2    100010110100010101001010101011101010
3    000010101001010101011101010101110101
4    110100010101001010101011101010111101
Name: 1

In [88]: df[1] = df[1].apply(lambda x: np.fromiter(x, int)) # better with count=len(x)

In [89]: df
Out[89]: 
   0                                                  1     2
0  1  [0 0 0 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1 1 0 1    aaa
1  0  [1 1 1 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1 1 0     bb
2  0  [1 0 0 0 1 0 1 1 0 1 0 0 0 1 0 1 0 1 0 0 1 0 1 0    ccc
3  1  [0 0 0 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1 1 0 1    ddd
4  1  [1 1 0 1 0 0 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1   eeee

In [90]: df[1][0]
Out[90]: 
array([0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 1, 0,
       1, 0, 1, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1])
于 2012-09-03T23:59:57.200 回答