问题标签 [logfile-analysis]

我问是因为我厌倦了每天像这样看制表符分隔的日志文件：

我想知道你们中是否有人如此幸运地拥有以下功能：

• 能够动态“过滤”不必要的部分。即，一旦加载了日志文件，您不必为了专注于该部分而提取其中的一小部分；您只需对其内容进行过滤，一旦完成，所有内容都可以恢复以再次开始另一个过滤过程。

• 当前行突出显示。这仅仅是因为一条长线包含多个，所以很难判断它在哪里结束

• 结合基于正则表达式的搜索突出显示匹配项。我相信很多编辑无论如何都支持这一点

我最后的手段是使用 Perl 或 linux 命令让我的生活更轻松，但我真诚地希望现在有一些功能强大的日志分析器/编辑器可以节省时间:)

感谢您提前提出的所有建议。

我知道周围还有其他工具，例如 awstats 或 splunk，但我想知道 R 中是否正在进行一些严肃的（网络）服务器日志文件分析。我可能不是第一个想到在 R 中做这件事的人，但 R 仍然有很好的可视化功能和不错的空间包。你知道吗？或者是否有一个 R 包/代码可以处理可以构建的最常见的日志文件格式？或者这只是一个非常糟糕的主意？

使用 logcat 我可以在模拟器中看到我的应用程序生成的日志消息。如何读取/检索相同的日志文件，但这次是从运行应用程序的设备？该设备未连接到任何计算机，并且必须通过电子邮件发送日志文件。

我正在使用一个日志拖尾应用程序 (BareTailPro) 突出显示匹配正则表达式的行。我目前将过滤器设置为error（忽略大小写）返回，例如：

我不想看到带有Receiver TopicName.*.

是否可以设置一个正则表达式来做到这一点？该应用程序似乎有一个极其有限的表达词汇：参考

我有一个项目设置来监控致命错误，我想添加另一个项目，以便它计算致命错误的计数并绘制它们。

使用这个键：log["/d2/httpd/logs/myDomain-error_log","PHP Fatal","UTF-8",100]

它正确地获取了我想要的数据，但是它不会绘制这个，我想我必须计算条目并将格式作为整数，但这不起作用：

count(log["/d2/httpd/logs/myDomain-error_log","PHP 致命","UTF-8",100], 60)

关于我的密钥应该是什么的任何想法，或者我将如何绘制这些数据以查看随着时间的推移有多少错误？

动作和触发器工作正常，做应该做的事，但无法从中创建图表。

我们最近推出了一个使用 DNN 开发的网站。

分析日志文件，我将扩展名为 .axd 的文件视为与页面一起访问的资源。问题是我看到这些 .axd 文件的流量很大。

我所说的高流量是指点击量、访问量和数据传输量。

我的问题是： 1-为什么我在访问的页面中看到这些 .axd 文件，而在使用普通 .net 制作的旧站点中，我从未见过它们？这些文件名的示例：WebResource.axd、DXR.axd、ScriptResource.axd

2- 我在这些 .axd 文件上看到的点击、访问和传输的数据是否计数？换句话说，如果一个名为“abc.aspx”的页面正在使用 WebResource.axd 加载，那么为了得到 abc.aspx 上的总访问者，我将把两个访问者加起来（.aspx 和 .axd 的访问者？

3- 我在这些 .axd 文件上看到的点击、访问和传输的数据是否给了我虚假的总流量值？实际上，流量突然增加了 40%，而我注意到访问者和点击量下降了很多。

谢谢你。

Is there a tool that is able to collect and count (Java) stacktraces in a large logfile, such that you get an overview which errors occur most often?

我正在尝试以自动方式按名称和日期缩短 excel 文件字段。我将解释我正在尝试做的事情：

我有一个 excel 文件，其中有许多用户在过去几天登录系统的日志文本。我想从这个文件中得到的是每天和每个用户第一次登录和注销系统。这是一个例子：

Excel文件

用户 1 - 20/01/2012 13:00 - 20/01/2012 15:27

用户 1 - 20/01/2012 16:00 - 20/01/2012 18:43

用户 2 - 2012 年 1 月 24 日 08:30 - 2012 年 1 月 24 日 11:43

用户 2 - 2012 年 1 月 24 日 15:32 - 2012 年 1 月 24 日 19:32

用户 2 - 25/02/2012 10:25 - 25/02/2012 15:25

用户 3 - 13/03/2012 04:13 - 13/03/2012 10:21

我想得到的结果：

用户 1 - 20/01/2012 登录：13:00 注销：18:43

用户 2 - 2012 年 1 月 24 日登录：08:30 注销：19:32

用户 2 - 25/02/2012 登录：10.25 注销：15:25

用户 3 - 13/03/2012 登录：04:13 注销：10:21

我不太确定我应该如何在 excel 中做到这一点，因为我的 excel 技能非常有限。我真的很感激任何帮助。

我正在记录异常，如果有一些工具或技术可以对异常日志进行一些分析，那就太好了，有人可以推荐吗？

我正在用某种启发式分析来想象一些东西，但我可能是在做梦。

我认为对分析工具或技术有用的东西：

• X 类型的所有异常都在 url A 上
• Y 类型的所有异常都来自用户代理 B
• Z 型的所有例外情况仅限于周六下午 4 点；-)

如果您有任何其他技巧或技术来加快异常日志的分析，那也很好。

注意：我将 Elmah 与 SQLite 一起使用（尽管数据可以传输到任何更容易的地方，例如 SQL）

我将在 R 中进行一些日志文件分析（除非我不能在 R 中进行），并且我知道我的数据需要适合 RAM（除非我使用某种修复方法，例如 keyval 存储的接口，也许？）。所以我想知道如何提前知道我的数据将在 RAM 中占用多少空间，以及我是否有足够的空间。我知道我有多少 RAM（不是很大——在 XP 下是 3GB），并且我知道我的日志文件最终将有多少行和列以及列条目应该是什么数据类型（大概我需要检查为它读取）。

我如何将这些组合成一个 go/nogo 决策以在 R 中进行分析？（大概 R 需要能够有一些 RAM 来执行操作，以及保存数据！）我立即需要的输出是一堆简单的摘要统计信息、频率、意外事件等，所以我可能会写一些解析器/制表器将为我提供短期所需的输出，但我也想在下一步使用许多不同的方法来处理这些数据，所以我正在研究使用 R 的可行性。

我在这里看到了很多关于 R 中大型数据集的有用建议，我已经阅读并将重新阅读，但现在我想更好地了解如何确定我是否应该（a）去那里，（b）去在那里但希望必须做一些额外的事情以使其易于管理，或者（c）在为时已晚之前逃跑并在其他语言/环境中做一些事情（欢迎提出建议......！）。谢谢！