问题标签 [logfiles]

我有多线程应用程序的日志文件。每行都有一个众所周知的格式（例如，第三个字段是线程 ID）。而其中一个字段是线程ID。我希望我不是想重新发明轮子:)

无论如何，为了轻松阅读文件，我想到了两个可以提供帮助的选项：

1. 突出显示与当前行具有相同线程 id 的所有行。

2. 如果按下某个键，则所有具有其他线程 ID 的行都将折叠，再次按下该键会展开这些行。

欢迎使用这两种物品的骨架。

2011-04-13 00:09:07,731 信息 [标准输出] 04/13 00:09:07 信息...

大家好。我会发布我的一些代码，但我什至认为它不值得发布。我想要做的是我有一个日志文件，上面有类似的行。我需要做的是获取最后一行的时间戳，并保留最后 5 分钟的所有行（而不是最后 200 行或其他任何......这会更容易）。有人可以帮忙吗？我已经在网上搜索了一些不错的提示，但仍然没有任何进展，而且非常沮丧。谢谢！

我想从可能的巨大日志文件（> 50..1000mb）中获取给定时间戳“t0”以来的最后一部分：

另一个限制是我想使用简单的 bash 命令来执行此操作。一个简单的解决方案可能是：

但这会扫描带有所有不感兴趣的行的整个文件。有命令尾巴，但我可以给他我不知道的最后几行 - 我只知道时间戳。当第一个时间戳不匹配时，有没有办法从后面“唤醒”并停止处理？

对于 4.2 GB 输入文件，此代码在我的笔记本电脑上的运行时间为 48 秒。输入文件是制表符分隔的，每个值都出现在引号中。每条记录都以换行符结尾，例如'"val1"\t"val2"\t"val3"\t..."valn"\n'

我尝试过使用 10 个线程的多处理：一个用于排队，8 个用于解析单个行并填充一个输出队列，一个用于将输出队列减少为如下所示的 defaultdict，但代码运行了 300 秒，比以下时间长 6 倍以上：

我已经通过从 for 循环中删除除 print 语句之外的所有内容来检查我不是 I/O 绑定的。该代码在 9 秒内运行，我将考虑该代码运行速度的下限。

我有很多这些 5 GB 的文件要处理，所以即使是运行时的一个很小的改进（我知道，我可以删除打印！）也会有所帮助。我正在运行的机器有 4 个内核，所以我不禁想知道是否有办法让多线程/多进程代码比上面的代码运行得更快。

更新：

我重写了多处理代码如下：

它在 26 秒内运行，加速了 1.85 倍。不错，但有 4 个核心，没有我希望的那么多。

看起来很简单。http://velocity.apache.org/engine/devel/developer-guide.html#Configuring_Logging上的文档 说要设置 runtime.log 属性。这是我所有的财产。

没有找到我告诉它放置它的任何日志文件，而是找到放置在旧（初始化文件夹）位置的新错误。有任何想法吗？:D

我们正在将我们的应用程序迁移到 Win7。该程序生成日志文件以帮助我们支持，并保存许多对用户有用的字典文件和设置文件，尽管用户很少会真正想要与我们的应用程序之外的文件进行交互。它们可以，因为它们是 csv 文件。我使用 APPDATA\LOCAL\OURAPPLICATION 文件夹作为目标来构建第一次运行。现在我想知道它是否应该是 PROGRAMDATA\OURAPPLICATION。

我实际上认为第一个选择更好，因为我扫描的所有内容似乎都表明 PROGRAMDATA 文件夹应该被用户认为是不可触摸的，但由于我不是程序员，我不确定。

我希望这是问这个问题的正确地方

任何人都可以推荐允许我通过 ajax 查询 IIS 日志以获取特定信息的软件吗？我有一个允许成员创建页面的网站，我想向他们展示他们创建的每个页面的统计信息。我曾考虑将这些信息存储在数据库中，但这似乎是多余的，因为它已经存储在我的 IIS 日志文件中。

我希望能够进行这样的查询：

...它返回 XML 或 JSON 以及我的查询的所有统计信息。

我正在 BASH 中编写一个脚本，该脚本需要检查日志文件中的错误条目。我计划每小时运行一次，所以我只想让它只返回过去一小时内发生的错误类型条目（所有服务器时间都是格林威治标准时间）。我建立以下变量

所有日志文件都遵循 ktYEAR-MONTH-DAY.root.log.txt 的文件名格式，其中 YEAR/MONTH/DAY 替换为记录条目的日期。例如，今天的日志文件为 kt2011-08 -15.root.log.txt。内容的示例条目是

感兴趣的列是第 1、2、3 列（值可能是“INFO”、“DEBUG”等，但只有当“ERROR”是值时才感兴趣）和最后一列是日志消息的正文。

我想要完成的是让这个 BASH 脚本解析具有跨越活动最后一小时的条目的文件（如第 1 列和第 2 列中所定义），并且如果第 4 列包含字符串“ERROR”，然后显示最右边一列的内容。当我试图确定如何根据$CURTIMEan解析日志文件时，我感到困惑$OLDTIME，当午夜到来时变得更糟，然后我必须搜索前一天的日志文件。我不希望对所有日志文件进行全面的 grep 样式搜索，因为数量和大小可能过多，但如果必须这样做，那就这样吧。

我有一些需要查看的巨大日志文件。我不想尝试在编辑器中打开它们，我希望能够以分页方式滚动它们。似乎在 powershell 中有 more 的别名，但管道到它并没有做任何事情，并且 get-help 只会产生“更多”。

在我看来，这似乎是一个完全愚蠢的问题，但我还没有弄清楚——我怎样才能得到类似于 unix more 命令的东西？

通常，我在编辑器中打开日志之前，会通过大量的 grep 管道删除“噪音”。

我认为应该可以在编辑器中进行这种过滤（尤其是 Emacs）

这是电锯在做什么？仅适用于 log4j 格式或更通用？（这是我能找到的唯一日志文件查看器工具）

你们是怎么做到的？（我认为 UNIX grep 语法对我来说是最简单的）