问题标签 [logparser]

Log Parser是解析日志文件的好工具。我不仅可以解析 IIS 日志文件，还可以使用它解析自定义日志文件。

例如我可以使用 SQL 语法来解析日志：

linux有没有类似的工具？

谢谢。

我也在 powershell usenet 组上发布了这个，但我认为它现在大多已经死了。

我正在忙于编写脚本。同时使用 powershell 和日志解析器。我目前正在尝试将 csv 输入和输出转换为 accdb。我有一个很好的工作脚本，但有一个问题。

我的字段之一应该是日期时间类型。然而，通过 export-csv 从 powershell 导出的 csv 使它成为一个字符串。我希望它是日期时间格式。我已经研究过类型转换（使用 LogParser）和 ParseExact（使用 powershell），但我迷路了。

这是 export-csv 正在制作的 csv 的示例：

这是我为 ParseExact 提出的（在 powershell 中）：

如果您需要查看我用来将 csv 数据附加到 accdb 数据库中的代码，请告诉我，我会发布它。我对演员发生的地方没有偏好。我在 powershell 中制作 CSV，然后通过 logparser 将其复制到 Access 中的表中。

感谢您的关注。

现在我想选择一个 ruby​​ 日志解析器 gem 来解析我自己的日志文件，经过调查我发现有 rawk、日志分析器等。我的要求是：

1. 日志文件格式是我们自己定义的，它可以解析我们的日志文件。
2. 日志文件很大，比如1G左右。
3. 需要实时解析。
4. 将解析结果转发到数据库，我们可以自己做。

如果您熟悉 ruby​​ 日志解析器，您可以根据我们的要求向我推荐一个吗？先感谢您。

我的电脑上有 cpu 显示器不断工作。我希望日志解析器仅解析最后一小时的结果。有谁知道这是怎么做到的吗？

最后一行出现错误。有谁知道我该怎么做？谢谢！

我有一种情况，我必须使用 logparer 监控 web 服务的执行时间，因为我无法运行 perfmon。这是因为我的客户提出了一些不合理的要求。

我有我的查询记录，但我想用动态文件名替换 u_ex110713.log，因为我想不断监控最新的文件。我如何让它发生。我愿意使用dos批处理文件，因此我可以安排它并将结果传送到另一个批处理，如果阈值增加到30秒，它将发出警报。

对于超过 200 万条记录的日志中的几千个请求，IIS 将耗时记录为 29641895 或类似的大数字。所用时间值以毫秒为单位，因此当转换为小时时，它转换为近 8 小时。什么可能导致 IIS 中出现此类日志？

正在查看的日志适用于托管在 IIS 7+、Windows 2008 服务器上的 ASP.NET 4.0 Web 应用程序。该应用程序是在 ASP.NET MVC 3 框架之上开发的。

日志存在于计算请求和静态请求中。

我正在通过 COM 互操作在 C# 中使用 LogParser 2.2，并且希望能够让长时间运行的查询超时。

例如

log.Execute如果通话时间过长，是否可以中断通话？我试过Thread.Abort()了，但似乎 ThreadAbortException 一直等到 Execute 调用正常完成。

用于测试的代码Thread.Abort()是：

您好，如果问题描述听起来奇怪且不准确，首先很抱歉。用英语描述我的复杂问题对我来说并不容易，但我希望你能理解我的意思。

我制作了一个用于解析 Web 服务器访问日志的 CLI 工具。我专注于性能和使用的灵活性。

因此，我使用 MMap 将 LogFiles 读入内存，然后将内存映射的 char* 传递给并行 OpenMP 处理循环。

在 omp 并行 for 循环中，我只使用 boost::regex_search 解析每个 LogString 中的几个信息子字符串，并将事件数据存储在线程本地自定义 LogEvent 类型对象中。

从当前字符串创建此 LogEvent-Object 后，我​​将 LogEvent 附加到向量并继续解析下一个字符串，依此类推。

棘手的是我在程序启动时解析了一个用户配置文件。用户可以通过指定与数据匹配的字段名称和正则表达式来定义多个“数据字段”。

例如：

此外，用户可以指定生成输出报告数据的顺序

例如：

输出字符串可能如下所示：

我遇到的问题是，流式传输视频文件会导致日志中出现多个访问事件。我无法真正识别出只是重新加载/缓冲流的人，因为不同的客户端平台在生成服务器响应代码时具有不同的行为。

现在我多次计算事件，这通常是错误的。

我该如何处理这个问题？我知道这很笼统，但是如果您考虑一下我的程序以及我如何描述它，您很快就会发现这个问题很难用我的程序设计来解决。

我找到了一种或另一种解决方法，但它总是对性能产生非常糟糕的影响，而不是合法的解决方案。

不知何故，我必须避免在解析时将这些 LogEvents 附加到 LogEvent-Objects 的向量中，因为在那之前，字符串仍处于正确的时间顺序，因此我可以将当​​前字符串与前一个字符串进行比较，依此类推。

在那之后，omp 关键阶段开始，线程本地结果被合并，如果我想检查错误的多次命中计数，我将不得不搜索整个数据数组，即 nogo。

我希望我的问题足够清楚。有任何想法吗？（不知道示例代码是否会有所帮助，因为我认为这更像是一个设计问题）......

是否有人知道任何链接/url 记录了如何编写允许 SQL Server 作为 LogParser 2.2 的自定义输入格式的 Windows 脚本组件 COM？

感谢您分享此内容以及对此的任何其他见解。

我正在使用 MS Log Parser 对 IIS 日志进行简单分析。

我想要一个生成报告的查询，该报告指示访问 URL 的唯一 IP 的计数，结果如下：

网址 | 唯一_IP | 总浏览

网址 1 3 100 网址 2 5 253

等等

我遇到的问题是 Log Parser 在使用 group by 时不允许 count(DISTINCT c-ip) ，我需要 group by 来获取每个 URL 的命中计数。

有人知道如何在 Log Parser 中进行这种查询吗？

谢谢！