0

我想将日志文件转换为可以在 R 中读取的格式以进行进一步分析。

我在尝试寻找解决方案时遇到的事情。Regex、RecordBreaker、OpenRefine 或 GoogleRefine，R 有 stringr 和 dplyr 等。

我尝试使用 OpenRefine，它看起来很有用，但仍然希望获得更多指导，因为他们说日志文件是真正的大数据。

数据看起来像这样；

M 8000000 NADR     14273 18:17:43.22 STC35256 00000291  DSNT375I  +HPN2 PLAN=DISTSERV WITH 026
 D                                         026 00000291          CORRELATION-ID=db2jcc_appli
 D                                         026 00000291          CONNECTION-ID=SERVER
 D                                         026 00000291          LUW-ID=G93FF023.DB11.CDD5C8DE241F=29839
 D                                         026 00000291
 D                                         026 00000291  THREAD-INFO=SAPHPNDB:9.63.240.123:SAPHPNDB:db2jcc_application:DYNAMIC
 D                                         026 00000291  :46835:*:*
 D                                         026 00000291          IS DEADLOCKED WITH PLAN=DISTSERV WITH
 D                                         026 00000291          CORRELATION-ID=db2jcc_appli
 D                                         026 00000291          CONNECTION-ID=SERVER
 D                                         026 00000291          LUW-ID=G93FF07C.EE5F.CDD5C82B2305=29799
 D                                         026 00000291
 D                                         026 00000291  THREAD-INFO=SAPHPNDB:9.63.240.33:SAPHPNDB:db2jcc_application:DYNAMIC:
 D                                         026 00000291  46835:*:*
 E                                         026 00000291          ON MEMBER HPN2
............................................................................

底层结构是这样的；

  1. 每条记录以 M 开头，以 E 结尾

  2. D 是提供有关单个记录的更多信息的变量。因此，如上面的日志文本所示，第一个实例以 M 开头，以 E 结尾，在 D 之间提供相关 ID、连接 ID 等信息。

所以上面的日志文件应该是数据表格式的一行，以 D 为变量。

  [1]: http://i.stack.imgur.com/hw9zY.png

可能的解决方案：

data <- readLines("data1.txt")
pattern <- "(M\\s+\\d+\\s+)(\\w+\\s+)(\\d+\\s+)(\\d+:\\d+:\\d+.\\d+\\s+)(\\w+\\s+)(\\d+\\s+)(\\w+\\s+)(\\+\\w+\\s+\\w+(\\=|\\s+)\\w+\\s+\\w+\\s+\\d+)"

m <- regexec(pattern,data)

matches <- regmatches(data, m)

parts <- do.call(rbind,lapply(regmatches(data, m), `[`,c(2L,3L,4L,5L,6L,7L,8L,9L)))

colnames(parts) <- c("ID1","ID2","Date","Time","ID3","ID4","ID5","description")

parts <- as.data.frame(parts)

parts1 <- na.omit(parts)
4

1 回答 1

0

好吧，你一次可以做一个日志行。伪代码将是这样的：

IF logrow.record == 'D' AND logrow.type == 'CORRELATION' THEN
  current.record$correlation = logrow.value
ELSE IF logrow.record == 'E' THEN
  all.records[n+1] = current.record
ELSE IF logrow.record == 'M' THEN
  current.record = empty new record
  current.record$ID = logrow.value
END

基本上，如果它是 M，那么你就开始一个新记录。如果是 E 则结束当前的。如果是 D，则根据存在的其他信息将数据添加到当前记录。

这不会太容易，但也不会太难。从一条记录开始，创建大量中间变量，一次迈出一步。

于 2015-02-12T12:47:46.430 回答