29

我正在一个平面文件中收集一些系统数据，格式如下：

YYYY-MM-DD-HH24:MI:SS DD1 DD2 DD3 DD4

其中 DD1-DD4 是四项数据。该文件的一个示例如下：

2011-02-01-13:29:53 16 8 7 68
2011-02-01-13:29:58 13 8 6 110
2011-02-01-13:30:03 26 25 1 109
2011-02-01-13:30:08 13 12 1 31
2011-02-01-13:30:14 192 170 22 34
2011-02-01-13:30:19 16 16 0 10
2011-02-01-13:30:24 137 61 76 9
2011-02-01-13:30:29 452 167 286 42
2011-02-01-13:30:34 471 177 295 11
2011-02-01-13:30:39 502 192 309 10

该文件超过 200 万行，每五秒有一个数据点。

我需要将这些数据绘制成图表，以便能够从中获得意义。

我试过的

目前，我已经使用各种 unix 工具（awk、sed 等）尝试了 gnuplot 和 rrdtool。这两种方法都有效，但每次我想以不同的方式查看数据时，似乎都需要进行大量的切割和重新切割。我的直觉是 rrdtool 是正确的方法，但目前我正在努力将数据足够快地输入其中，部分原因是我必须将我的时间戳转换为 Unix 纪元。我的理解也是，如果我决定想要一个新的聚合粒度，我必须重建 rrd（这对于实时收集是有意义的，但不是这样的追溯加载）。这些事情让我觉得也许我使用了错误的工具。

将数据收集到平面文件是固定的 - 例如，我不能将集合直接通过管道传输到 rrdtool。

我的问题

我希望人们对制作图表的最佳方式提出意见。我有这些要求：

  1. 创建图形应该尽可能快（不仅仅是渲染，还设置为渲染）
  2. 它应该尽可能灵活——我需要用图表来计算出数据的最佳粒度（5 秒可能太细了）
  3. 它应该能够在必要时聚合（MAX/AVG/etc）
  4. 它应该是可重复的和新的数据文件，因为它们进来
  5. 理想情况下，我希望能够将上周的 DD1 与 DD2 或上周的 DD1 与本周的 DD1 重叠
  6. Unix或Windows，不在乎。虽然更喜欢 *nix :-)

有什么建议么？

4

3 回答 3

26

这是一个非常好的问题。我很高兴看到一些 R 人参与进来。我也认为 R 是完成这项工作的正确工具，尽管它是我的主要锤子，所以对我来说，一切看起来有点像钉子。

应对这一挑战需要一些 R 概念。如我所见，您需要以下内容（括号中的引用）：

  1. 将数据导入 R。（R 导入导出指南）
  2. 将数据放入适当的时间序列结构中。( XTS 小插图 PDF )
  3. 一点图谋。（Quick-R 图形介绍）

这是使用 2mm 点的示例代码。如果您注意到，我没有说明绘制所有 2 毫米点。它很慢，而且信息量不大。但这应该会给您一些入门的想法。如果您决定跳下 R 兔子洞，请随时提出更具体的问题！

require( xts )
require( lubridate )

## set up some example data
dataLength <- 2e6
startTime <- ymd_hms("2011-02-01-13-29-53")
fistFullOfSeconds <- 1:dataLength
date <- startTime + fistFullOfSeconds
DD1 <- rnorm( dataLength )
DD2 <- DD1 + rnorm(dataLength, 0, .1 )
DD3 <- rnorm( dataLength, 10, 2)
DD4 <- rnorm( dataLength )

myXts <- xts(matrix( c( DD1, DD2, DD3, DD4 ), ncol=4 ), date)

## now all the data are in the myXts object so let's do some
## summarizing and visualization

## grabbing just a single day from the data
## converted to data.frame to illustrate default data frame plotting
oneDay <- data.frame( myXts["2011-02-02"] ) 
plot( oneDay )

DD1和DD2之间的关系有点跳出来了
在此处输入图像描述

boxplot( oneDay )

箱线图是统计图形的饼图。你爱恨的情节。当我们在这里时， 不妨链接到这个。在此处输入图像描述

## look at the max value of each variable every minute
par(mfrow=c(4,1)) ## partitions the graph window
ep <- endpoints(myXts,'minutes')
plot(period.apply(myXts[,1],INDEX=ep,FUN=max))
plot(period.apply(myXts[,2],INDEX=ep,FUN=max))
plot(period.apply(myXts[,3],INDEX=ep,FUN=max))
plot(period.apply(myXts[,4],INDEX=ep,FUN=max))

即使在一分钟的分辨率下，我也不确定这是否提供信息。应该可能是子集。 在此处输入图像描述

于 2011-02-25T19:42:57.673 回答
9

这是一些 R 代码，用于在 2000000 行的 4 列中处理 8000000 个数字：

> d=matrix(runif(8000000),ncol=4)
> dim(d)
[1] 2000000       4
> plot(d[1:1000,1])
> plot(d[1:1000,1],type='l')
> plot(d[1:10000,1],type='l')

现在它开始变得有点慢：

> plot(d[1:100000,1],type='l')

两列的相关性如何：

> cor(d[,1],d[,2])
[1] 0.001708502

- 立即的。傅里叶变换？

> f=fft(d[,1])

也瞬间。不要尝试绘制它。

让我们绘制其中一列的细化版本：

> plot(d[seq(1,2000000,len=1000),1],type='l')

- 立即的。

真正缺少的是一个交互式绘图，您可以在其中缩放和平移整个数据集。

于 2011-02-25T19:18:17.740 回答
5

这是您拥有的数据的示例，如加载到 R 中、聚合等...

首先，一些要写入文件的虚拟数据：

stime <- as.POSIXct("2011-01-01-00:00:00", format = "%Y-%d-%m-%H:%M:%S")
## dummy data
dat <- data.frame(Timestamp = seq(from = stime, by = 5, length = 2000000),
                  DD1 = sample(1:1000, replace = TRUE),
                  DD2 = sample(1:1000, replace = TRUE),
                  DD3 = sample(1:1000, replace = TRUE),
                  DD4 = sample(1:1000, replace = TRUE))
## write it out
write.csv(dat, file = "timestamp_data.txt", row.names = FALSE)

然后我们可以定时读取 200 万行。为了加快速度，我们告诉 R 文件中列的类：这"POSIXct"是 R 中存储您拥有的时间戳的一种方式。

## read it in:
system.time({
             tsdat <- read.csv("timestamp_data.txt", header = TRUE,
                                 colClasses = c("POSIXct",rep("integer", 4)))
            })

其中，在我的普通笔记本电脑上以内部 unix 时间读取和格式化大约需要 13 秒。

   user  system elapsed 
 13.698   5.827  19.643

聚合可以通过多种方式完成，一种是使用aggregate(). 说聚合到小时平均值/平均值：

## Generate some indexes that we'll use the aggregate over
tsdat <- transform(tsdat,
                   hours   = factor(strftime(tsdat$Timestamp, format = "%H")),
                   jday    = factor(strftime(tsdat$Timestamp, format = "%j")))
## compute the mean of the 4 variables for each minute
out <- aggregate(cbind(Timestamp, DD1, DD2, DD3, DD4) ~ hours + jday, 
                 data = tsdat, FUN = mean)
## convert average Timestamp to a POSIX time
out <- transform(out,
                 Timestamp = as.POSIXct(Timestamp, 
                                        origin = ISOdatetime(1970,1,1,0,0,0)))

那（行创建out）在我的笔记本电脑上需要大约 16 秒，并给出以下输出：

> head(out)
  hours jday           Timestamp      DD1      DD2      DD3      DD4
1    00  001 2010-12-31 23:29:57 500.2125 491.4333 510.7181 500.4833
2    01  001 2011-01-01 00:29:57 516.0472 506.1264 519.0931 494.2847
3    02  001 2011-01-01 01:29:57 507.5653 499.4972 498.9653 509.1389
4    03  001 2011-01-01 02:29:57 520.4111 500.8708 514.1514 491.0236
5    04  001 2011-01-01 03:29:57 498.3222 500.9139 513.3194 502.6514
6    05  001 2011-01-01 04:29:57 515.5792 497.1194 510.2431 496.8056

plot()使用以下函数可以实现简单的绘图：

plot(DD1 ~ Timestamp, data = out, type = "l")

我们可以通过以下方式覆盖更多变量，例如：

ylim <- with(out, range(DD1, DD2))
plot(DD1 ~ Timestamp, data = out, type = "l", ylim = ylim)
lines(DD2 ~ Timestamp, data = out, type = "l", col = "red")

或通过多个面板：

layout(1:2)
plot(DD1 ~ Timestamp, data = out, type = "l", col = "blue")
plot(DD2 ~ Timestamp, data = out, type = "l", col = "red")
layout(1)

这一切都是通过基本 R 功能完成的。其他人已经展示了附加包如何使处理日期更容易。

于 2011-02-25T20:16:39.103 回答