1

我有一个以这种格式保存数据的文本文件：

    21-Jun-2013 22:12:52:137, INFO, *********************************************************************
    21-Jun-2013 22:12:52:137, INFO, Data being shown
    21-Jun-2013 22:12:52:137, INFO, *********************************************************************
    21-Jun-2013 22:12:52:137, INFO, Meta-data
    21-Jun-2013 22:12:52:137, INFO, Meta-data
    21-Jun-2013 22:12:52:137, INFO, Exp                           1                         2    
    21-Jun-2013 22:12:52:168, INFO, -------------------------------------------------------------
    21-Jun-2013 22:12:52:184, INFO, 1           0.00000 *   1.00000       0.00000 *   1.00000    
    21-Jun-2013 22:12:31:919, INFO, 2           0.00000 *   1.00000       0.00000 *   2.00000
    21-Jun-2013 22:12:31:997, INFO, 3           0.00000 *   5.33380       0.00000 *   5.33380
    21-Jun-2013 22:12:32:059, INFO, 4           0.00000 *   0.00000       0.00000 *   0.00000
    21-Jun-2013 22:12:32:137, INFO, 5           0.00000 *   0.00000       0.00000 *   0.00000

该文件是程序的事件日志，用于调试程序。每行都以时间戳开头。文件的前 5 行包含与文本文件相关的元数据，因此不感兴趣。要分析的数据从第 6 行开始。第 6 行是列的标题。第一列Exp存储数据的行 ID。随后的列标题只不过是列 ID。这些列中的每一列中的数据都是 2 个相乘的数量（比如 A*B）。实际数据的列 ID 大约为千，行 ID 大约为几百万。

现在，我想使用R或Python生成字典列表来处理这些数据。对于给定的示例，我想要一个这样的字典列表： 

    expressionList = [ row1 , row2 , row3, row4, row5 ]

列表中的每个元素都应该是一个字典。每个元素的展开形式如下图所示：

    row1   = { 'col1A': 0.00000, 'col1B': 1.00000, 'col2A': 0.00000, 'col2B': 1.00000 }
    row2   = { 'col1A': 0.00000, 'col1B': 1.00000, 'col2A': 0.00000, 'col2B': 2.00000 }
    row3   = { 'col1A': 0.00000, 'col1B': 5.33380, 'col2A': 0.00000, 'col2B': 5.33380 }
    row4   = { 'col1A': 0.00000, 'col1B': 0.00000, 'col2A': 0.00000, 'col2B': 0.00000 }
    row5   = { 'col1A': 0.00000, 'col1B': 0.00000, 'col2A': 0.00000, 'col2B': 0.00000 }

我对这两种编程语言都很陌生 - 非常感谢任何帮助/指导！

4

2 回答 2

5

如评论中所述，read.table应该适用于您的数据。

这是一个例子。您的文本文件已在我的主目录中保存为“mytest.txt”。用文件的实际路径替换它。我们已指定 " skip = 7" 删除前几行：

mydf <- read.table("~/mytest.txt", skip=7)
mydf
#            V1            V2    V3 V4 V5 V6     V7 V8 V9    V10
# 1 21-Jun-2013 22:12:52:184, INFO,  1  0  * 1.0000  0  * 1.0000
# 2 21-Jun-2013 22:12:31:919, INFO,  2  0  * 1.0000  0  * 2.0000
# 3 21-Jun-2013 22:12:31:997, INFO,  3  0  * 5.3338  0  * 5.3338
# 4 21-Jun-2013 22:12:32:059, INFO,  4  0  * 0.0000  0  * 0.0000
# 5 21-Jun-2013 22:12:32:137, INFO,  5  0  * 0.0000  0  * 0.0000

您可以使用 和 的向量对 R 中的列进行子集TRUE化FALSE。在这里，该模式似乎是我们要删除的一组四列，然后是“保留、删除、保留”模式。

## Create the vector of what we want to keep (TRUE) and drop (FALSE)
keepdrop <- c(FALSE, FALSE, FALSE, FALSE, rep(c(TRUE, FALSE, TRUE),
              length.out=length(mydf)-4))
## Subset to drop the unwanted columns
mydf <- mydf[keepdrop]

## Let's make some nicer names
cols <- length(mydf) %/% 2
names(mydf) <- paste("col", sequence(cols), 
                     rep(c("A", "B"), each = cols), 
                     sep = "_")

## The final output
mydf
#   col_1_A col_2_A col_1_B col_2_B
# 1       0  1.0000       0  1.0000
# 2       0  1.0000       0  2.0000
# 3       0  5.3338       0  5.3338
# 4       0  0.0000       0  0.0000
# 5       0  0.0000       0  0.0000

从这里，访问信息非常简单：

### Third row
mydf[3, ]
#   col_1_A col_2_A col_1_B col_2_B
# 3       0  5.3338       0  5.3338

### Second column, as a data.frame, by position
mydf[, 2, drop = FALSE]
#   col_2_A
# 1  1.0000
# 2  1.0000
# 3  5.3338
# 4  0.0000
# 5  0.0000

### Fourth column, as a vector, by name
mydf[, "col_2_B"]
# [1] 1.0000 2.0000 5.3338 0.0000 0.0000

除此之外，您可能还想查看fread“data.table”包中的函数，这将有助于更快地读取大数据。

于 2013-09-13T04:52:06.213 回答
1

如果您不太关心时间戳，我建议您使用 numpy 的 loadtxt 函数。

import numpy as np

data = np.loadtxt('test.txt', skiprows=7, usecols=(4,6,7,9),
            dtype={'names':   ('col1', 'col2', 'col3', 'col4'),
                   'formats': ('f4',   'f4',   'f4',   'f4')})

这为您提供了多种访问数据的方法：

print data[0]
print data['col2']
print data['col2'][2:]
print data['col2'][2]
print data[2]['col2']
print data[2][1]

(0.0, 1.0, 0.0, 1.0)

[ 1. 1. 5.33379984 0. 0. ]

[ 5.33379984 0. 0. ]

5.3338

5.3338

5.3338

-

如果您想保留时间戳，您始终可以将它们存储为字符串并稍后解析它们。

哦，注意缺失值！解析器可能不喜欢它们（除非它们具有与值本身相同的数据类型）。Numpy 的 genfromtxt 函数有处理它们的方法，虽然我没有做太多。它基本上是类固醇的loadtxt。

于 2013-09-12T19:07:29.320 回答