1

我有这种格式的数据（更长，但仍然缩写，数据集可以在这里找到）：

pull_req_id,user,action,created_at
1679,NiGhTTraX,opened,1380104504
1678,akaariai,opened,1380044613
1678,akaariai,opened,1380044618
...

加载了以下库：

library(TraMineR)
library(sqldf)

我使用此功能（很快）加载它：

read_seqdata <- function(data, startdate, stopdate){
  data <- read.table(data, sep = ",", header = TRUE)
  data <- subset(data, select = c("pull_req_id", "action", "created_at"))
  colnames(data) <- c("id", "event", "time")
  data <- sqldf(paste0("SELECT * FROM data WHERE strftime('%Y-%m-%d', time,
'unixepoch', 'localtime') >= '",startdate,"' AND strftime('%Y-%m-%d', time,
'unixepoch', 'localtime') <= '",stopdate,"'"))
  data$end <- data$time
  data <- data[with(data, order(time)), ]
  data$time <- match(data$time, unique(data$time))
  data$end <- match(data$end, unique(data$end))
  (data)
}

project_sequences <- read_seqdata("/Users/name/github/local/data/event-data.txt",
'2012-01-01', '2012-06-30')

然后我运行这个函数来计算序列长度（非常慢）：

sequence_length <- function(data){
  slmax <- max(data$time)
  sequences.sts <- seqformat(data, from="SPELL", to="DSS", begin="time",
end="end", id="id", status="event", limit=slmax)
  sequences.sts <- seqdef(sequences.sts, right = "DEL", left = "DEL",
gaps = "DEL")
  sequences.length <- seqlength(sequences.sts)
  (sequences.length)
}

project_length <- sequence_length(project_sequences)

然而，这是非常缓慢的。关于如何重构代码以加快速度的任何建议？

一些时间戳相距数千步，但每个序列只有几步长。不同序列的时间戳之间的大距离是否会导致计算时间长（在大学超级计算机上超过 20 小时）？

4

1 回答 1

1

似乎由read_seqdata上面的函数创建的时间戳虽然比原始的 seconds-since-the-epoch 格式短，但仍然生成的时间戳相差多达 50,000 个单位。显然，这TraMineR显着放缓。我的解决方案是创建一个新函数来读取没有时间戳的数据：

read_seqdata_notime <- function(data, startdate, stopdate){
  data <- read.table(data, sep = ",", header = TRUE)
  data <- subset(data, select = c("pull_req_id", "action", "created_at"))
  colnames(data) <- c("id", "event", "time")
  data <- sqldf(paste0("SELECT * FROM data WHERE strftime('%Y-%m-%d', time,
'unixepoch', 'localtime') >= '",startdate,"' AND strftime('%Y-%m-%d', time,
'unixepoch', 'localtime') <= '",stopdate,"'"))
  data.split <- split(data$event, data$id)
  list.to.df <- function(arg.list) {
    max.len  <- max(sapply(arg.list, length))
    arg.list <- lapply(arg.list, `length<-`, max.len)
    as.data.frame(arg.list)
  }
  data <- list.to.df(data.split)
  data <- t(data)
  (data)  
}

这大大加快了后续TraMineR命令的计算速度，但将序列分析限制为严格关于活动类型或顺序的度量，并且不考虑持续时间（即长度、熵、子序列数和相异性仍然可以使用）。

例如，将序列长度存储在变量中的函数变为：

sequence_length <- function(data){
  sequences.sts <- seqdef(data, left = "DEL", gaps = "DEL", right = "DEL")
  sequences.length <- seqlength(sequences.sts)
  (sequences.length)
}
于 2014-01-21T18:30:57.600 回答