6

我有以下数据集，我想将其从宽格式重塑为长格式：

Name     Code  CURRENCY   01/01/1980   02/01/1980   03/01/1980   04/01/1980
Abengoa  4256  USD        1.53         1.54         1.51         1.52      
Adidas   6783  USD        0.23         0.54         0.61         0.62

数据包含 1980 年至 2013 年每天不同公司的股票价格。因此，我的宽数据中有 8,612 列（大约 3,000 行）。现在，我正在使用以下命令将数据重塑为长格式：

library(reshape)
data <- read.csv("data.csv")
data1 <- melt(data,id=c("Name","Code", "CURRENCY"),variable_name="Date")

但是，对于大约 50MB 大的 .csv 文件，它已经需要大约两个小时。计算时间不应该由弱硬件驱动，因为我在具有 16GB RAM 的 2.7 GHz Intel Core i7 上运行它。有没有其他更有效的方法来做到这一点？

非常感谢！

4

3 回答 3

5

基准总结：

使用Stack（正如@AnandaMahto 所建议的那样）绝对
是处理较小数据集（N < 3,000）的方法。
随着数据集变大，data.table开始表现出色stack

这是使用 data.table 的选项

dtt <- data.table(data)

# non value columns, ie, the columns to keep post reshape
nvc <- c("Name","Code", "CURRENCY")

# name of columns being transformed 
dateCols <- setdiff(names(data), nvc)

# use rbind list to combine subsets
dtt2 <- rbindlist(lapply(dateCols, function(d) {
    dtt[, Date := d]
    cols <- c(nvc, "Date", d)
    setnames(dtt[, cols, with=FALSE], cols, c(nvc, "Date", "value"))
}))

## Results: 

dtt2
#       Name Code CURRENCY         Date value
# 1: Abengoa 4256      USD X_01_01_1980  1.53
# 2:  Adidas 6783      USD X_01_01_1980  0.23
# 3: Abengoa 4256      USD X_02_01_1980  1.54
# 4:  Adidas 6783      USD X_02_01_1980  0.54
# 5: ... <cropped>

使用更大的样本数据更新基准

根据@AnandaMahto 的建议，以下是使用较大（较大）样本数据的基准。 请随时改进下面使用的任何方法和/或添加新方法。

基准

 Resh <- quote(reshape::melt(data,id=c("Name","Code", "CURRENCY"),variable_name="Date"))
 Resh2 <- quote(reshape2::melt(data,id=c("Name","Code", "CURRENCY"),variable_name="Date"))
 DT <- quote({    nvc <- c("Name","Code", "CURRENCY"); dateCols <- setdiff(names(data), nvc); rbindlist(lapply(dateCols, function(d) { dtt[, Date := d]; cols <- c(nvc, "Date", d); setnames(dtt[, cols, with=FALSE], cols, c(nvc, "Date", "value"))}))})
 Stack <- quote(data.frame(data[1:3], stack(data[-c(1, 2, 3)])))


 # SAMPLE SIZE: ROWS = 900; COLS = 380 + 3; 
 dtt <- data.table(data);  
 benchmark(Resh=eval(Resh),Resh2=eval(Resh2),DT=eval(DT), Stack=eval(Stack), replications=5, columns=c("relative", "test", "elapsed", "user.self", "sys.self", "replications"), order="relative")
 # relative  test elapsed user.self sys.self replications
 #    1.000 Stack   0.813     0.623    0.192            5
 #    2.530    DT   2.057     2.035    0.026            5
 #   40.470  Resh  32.902    18.410   14.602            5
 #   40.578 Resh2  32.990    18.419   14.728            5

 # SAMPLE SIZE: ROWS = 3,500; COLS = 380 + 3; 
 dtt <- data.table(data);  
 benchmark(DT=eval(DT), Stack=eval(Stack), replications=5, columns=c("relative", "test", "elapsed", "user.self", "sys.self", "replications"), order="relative")
 #  relative  test elapsed user.self sys.self replications
 #      1.00    DT   2.407     2.336    0.076            5
 #      1.08 Stack   2.600     1.626    0.983            5

 # SAMPLE SIZE: ROWS = 27,000; COLS = 380 + 3; 
 dtt <- data.table(data);  
 benchmark(DT=eval(DT), Stack=eval(Stack), replications=5, columns=c("relative", "test", "elapsed", "user.self", "sys.self", "replications"), order="relative")
 # relative  test elapsed user.self sys.self replications
 #    1.000    DT  10.450     7.418    3.058            5
 #    2.232 Stack  23.329    14.180    9.266            5

样本数据创建

  # rm(list=ls(all=TRUE))
  set.seed(1)
  LLLL <- apply(expand.grid(LETTERS, LETTERS[10:15], LETTERS[1:20], LETTERS[1:5], stringsAsFactors=FALSE), 1, paste0, collapse="")

  size <- 900
  dateSamples <- 380
  startDate <- as.Date("1980-01-01")

  Name <- apply(matrix(LLLL[1:(2*size)], ncol=2), 1, paste0, collapse="")
  Code <- sample(1e3:max(1e4-1, size+1e3), length(Name))
  CURRENCY <- sample(c("USD", "EUR", "YEN"), length(Name), TRUE)

  Dates <- seq(startDate, length.out=dateSamples, by="mon")
  Values <- sample(c(1:1e2, 1:5e2), size=size*dateSamples, TRUE) / 1e2

  # Calling the sample dataframe `data` to keep consistency, but I dont like this practice
  data <- data.frame(Name, Code, CURRENCY,       
                     matrix(Values, ncol=length(Dates), dimnames=list(c(), as.character(Dates)))
                    ) 

  data[1:6, 1:8]
  #        Name Code CURRENCY X1980.01.01 X1980.02.01 X1980.03.01 X1980.04.01 X1980.05.01
  # 1  AJAAQNFA 3389      YEN        0.37        0.33        3.58        4.33        1.06
  # 2  BJAARNFA 4348      YEN        1.14        2.69        2.57        0.27        3.02
  # 3  CJAASNFA 6154      USD        2.47        3.72        3.32        0.36        4.85
  # 4  DJAATNFA 9171      USD        2.22        2.48        0.71        0.79        2.85
  # 5  EJAAUNFA 2814      USD        2.63        2.17        1.66        0.55        3.12
  # 6  FJAAVNFA 9081      USD        1.92        1.47        3.51        3.23        3.68
于 2013-03-03T16:34:44.847 回答
5

从问题：

data <- read.csv("data.csv")

和

...对于大约 50MB 大的 .csv 文件，已经需要大约两个小时 ...

因此，尽管 stack/melt/reshape 开始发挥作用，但我猜（因为这是您的第一个问题）这里最大的因素是read.csv. 假设您将其包括在您的时间安排中以及melt（尚不清楚）。

read.csv众所周知，默认参数很慢。一些快速搜索应该会显示提示和提示（例如stringsAsFactors，colClasses），例如：

但我建议fread（从data.table1.8.7 开始）。要fread以原始文本形式了解其手册页，请访问： https ://www.rdocumentation.org/packages/data.table/versions/1.12.2/topics/fread

碰巧的是，那里的示例部分有一个 50MB 的示例，显示可以在 3 秒内读取，而不是最多 60 秒。基准开始出现在其他答案中，这很值得一看。

如果我猜对了，那么堆栈/重塑/融化的答案是下一个顺序。

于 2013-03-03T22:36:48.187 回答
3

在测试进行期间，我将发表我的评论作为答案供您考虑。尝试使用stack如下：

data1 <- data.frame(data[1:3], stack(data[-c(1, 2, 3)]))

在许多情况下，stack使用这些类型的操作非常有效，并且在前几列中添加回来也很快，因为向量在 R 中是如何回收的。

就此而言，这也可能值得考虑：

data.frame(data[1:3],
           vals = as.vector(as.matrix(data[-c(1, 2, 3)])),
           date = rep(names(data)[-c(1, 2, 3)], each = nrow(data)))

不过，我对这么小的数据样本进行基准测试持谨慎态度，因为我怀疑结果与实际数据集的基准测试不太可比。

更新：更多基准测试的结果

使用@RicardoSaporta 的基准测试程序，我data.table对我所谓的“手动”data.frame创建进行了基准测试。您可以在此处查看基准测试的结果，数据集范围从 1000 行到 3000 行，以 500 行为增量，全部包含 8003 列（8000 个数据列，加上三个初始列）。

结果可以在这里看到：http ://rpubs.com/mrdwab/reduce-computing-time

Ricardo 是对的——似乎有大约 3000 行与基本 R 方法产生了巨大差异（如果有人对可能是什么有任何解释，那将很有趣）。stack但是，如果性能确实是主要关注点，那么这种“手动”方法实际上甚至比.

以下是最近三轮运行的结果：

data <- makeSomeData(2000, 8000)
dtt <- data.table(data)
suppressWarnings(benchmark(DT = eval(DT), Manual = eval(Manual), replications = 1, 
    columns = c("relative", "test", "elapsed", "user.self", "sys.self", "replications"), 
    order = "relative"))
##   relative   test elapsed user.self sys.self replications
## 2    1.000 Manual   0.908     0.696    0.108            1
## 1    3.963     DT   3.598     3.564    0.012            1

rm(data, dateCols, nvc, dtt)

data <- makeSomeData(2500, 8000)
dtt <- data.table(data)
suppressWarnings(benchmark(DT = eval(DT), Manual = eval(Manual), replications = 1, 
    columns = c("relative", "test", "elapsed", "user.self", "sys.self", "replications"), 
    order = "relative"))
##   relative   test elapsed user.self sys.self replications
## 2    1.000 Manual   2.841     1.044    0.296            1
## 1    1.694     DT   4.813     4.661    0.080            1

rm(data, dateCols, nvc, dtt)

data <- makeSomeData(3000, 8000)
dtt <- data.table(data)
suppressWarnings(benchmark(DT = eval(DT), Manual = eval(Manual), replications = 1, 
    columns = c("relative", "test", "elapsed", "user.self", "sys.self", "replications"), 
    order = "relative"))
##   relative   test elapsed user.self sys.self replications
## 1     1.00     DT   7.223     5.769    0.112            1
## 2    29.27 Manual 211.416     1.560    0.952            1

哎哟! data.table真的在最后一次运行中扭转了局面！

于 2013-03-03T17:16:42.377 回答