11

第一次在这里发帖,所以我会尽量让自己清楚地了解我需要的帮助。我对 R 相当陌生,这是我第一次真正的独立编程经验。

我有大约 2.5 年的股票报价数据,每天都有自己的文件。这些文件是 .txt,包含大约 20-3000 万行,我猜每个平均 360mb。我现在一次处理一个文件。我不需要这些文件包含的所有数据,我希望我可以使用编程来最小化我的文件。

现在我的问题是我在编写正确的代码时遇到了一些困难,所以 R 理解我需要它做什么。

让我首先向您展示一些数据,以便您了解格式。

M977
R 64266NRE1VEW107 FI0009653869 2EURXHEL 630 1
R 64516SSA0B 80SHB SE0002798108 8SEKXSTO 40 1
R 645730BBREEW750 FR0010734145 8EURXHEL 640 1
R 64655OXS1C 900SWE SE0002800136 8SEKXSTO 40 1
R 64663OXS1P 450SWE SE0002800219 8SEKXSTO 40 1
R 64801SSIEGV LU0362355355 11EURXCSE 160 1
M978

另一个数据片段:

M732
D 3547742
A 3551497B 200000 67110 02800
D 3550806
D 3547743
A 3551498S 250000 69228 09900

如您所见,每一行都以一个字母开头。每个字母表示线条的含义。例如R表示订单簿目录消息,M表示上一秒后的毫秒数,H表示股票交易动作消息。总共使用了 14 种不同的字母。

我已经使用该readLines函数将数据导入 R。但是,当我想处理数据时,R 似乎需要很长时间才能处理。

现在我想写一些 If 函数来说明如果第一个字母是R从偏移量 1 到 4 代码表示市场段标识符等,并让 R 向这些添加列,这样我就可以在更多的情况下处理数据结构时尚。

导入此类数据以及创建某种形式的结构的最佳方式是什么 - 例如,使用数据行中的唯一 ID 信息一次分析 1 只股票。

4

2 回答 2

1

你可以尝试这样的事情:

options(stringsAsFactors = FALSE)

f_A <- function(line,tab_A){
  values <- unlist(strsplit(line," "))[2:5]
  rbind(tab_A,list(name_1=as.character(values[1]),name_2=as.numeric(values[2]),name_3=as.numeric(values[3]),name_4=as.numeric(values[4])))
}

tab_A <- data.frame(name_1=character(),name_2=numeric(),name_3=numeric(),name_4=numeric(),stringsAsFactors=F)

for(i in readLines(con="/home/data.txt")){
    switch(strsplit(x=i,split="")[[1]][1],M=cat("1\n"),R=cat("2\n"),D=cat("3\n"),A=(tab_A <- f_A(i,tab_A)))
}

并替换cat()为为每种类型的 data.frame 添加值的不同函数。使用函数的模式f_A()为表结构构造其他函数和相同的东西。

于 2012-07-26T13:16:58.690 回答
0

您可以将readLines()命令与正则表达式结合使用。要获取有关正则表达式的更多信息,请查看 R 帮助站点grep()

> ?grep

因此,您可以浏览所有行,检查每一行的含义,然后根据需要处理或存储该行的内容。(正则表达式也可用于将数据拆分为一行...)

于 2012-08-12T13:59:36.473 回答