我正在为我生成的一些数据搜索数据查看器/绘图仪。
事实
首先是关于我生成的数据的一些事实:
- 有几个数据集,每个数据集大约有 300 万个数据点。
- 当前每个数据集都以 ascii 格式存储。
- 每条线代表一个点,由多列组成。
- 前两列确定点的位置(即 x 和 y 值),而第一列是时间戳,第二列是 0 和 1 之间的标准化浮点数。
- 其他列包含可用于对绘图着色或过滤数据的附加数据。
- 一个示例数据点:
2012-08-08T01:02:03.040 0.0165719281 foobar 成功 XX:1
当前方法
目前,我正在为每个数据集生成具有不同选择标准的多个 png 文件(使用 gnuplot),如下所示:
- 以灰色显示所有点。
- 以灰色显示所有点,但以红色显示 SUCCESS。
- 以灰色显示所有点,但以红色显示 SUCCESS,以绿色显示 XX:-1;如果 SUCCESS 和 XX:-1 都匹配,则使用蓝色作为着色。
缺点
使用当前的方法,我想解决一些缺点:
- 我不能轻易地打开/关闭一些过滤器或颜色,因为我每次都必须生成一个新的 png 文件。
- 我需要在我的图像文件中使用有限的分辨率,因为分辨率越高,查看器越慢。所以我只能放大到有限的细节。
- 我没有每个点的 png 查看器中可用的原始数据。理想情况下,我希望在选择一个点时可以看到数据。
已经测试过了
我已经测试了其他一些方法:
- Gnuplot 本身有一个查看器,但它不能有效地处理这么多点 - 它太慢并且消耗太多内存。
- 我快速浏览了 KST,但我找不到显示 2D 数据的方法,我认为它不会满足我的愿望。
愿望
我想要一个可以对原始数据进行操作的查看器,如果缩小可以快速显示点,也可以快速放大,并且应该解决上述缺点。
问题
最后,有没有人知道这样的观众或有其他建议?
如果没有观众,也欢迎一些关于自己编程的建议。
在此先感谢
斯特凡