问题标签 [logparser]

我创建了一个 .Net 应用程序，它允许查询一些 Web 服务器的 IIS 日志。该应用程序调用 WCF 服务来获取数据。WCF 服务位置有 IIS 日志。WCF 服务在内部调用 IIS 日志文件上的 Logparser 并返回结果。有多个 IIS 日志文件。如果我一次性在所有这些上运行 logparser，则返回需要很长时间，因为大约有 30 个巨大的 IIS 日志文件被查询。我想在每个 IIS 日志上一一运行 logparser 并一一返回结果。

我正在寻找一个在 WCF 上工作并允许从 WCF 服务中逐段检索数据的框架。所以我想得到 IISlogfile1 的结果，然后是 IISlogfile2 的结果，依此类推。否则 UI 将不得不等待很长时间才能一次获得完整的结果。

您是否知道任何允许从 WCF 服务中逐部分检索数据的现有框架？

PS：我的解决方法是多次调用该服务，每个 IIS 日志文件一次，直到它响应所有数据都已发送。但我正在寻找更清洁的解决方案。

我是 Stackoverflow 的新手。如果我没有完成彻底搜索的作业，请原谅我。我在解析来自 tomcat localhost 日志和 catalina.out 文件的文本时遇到问题。我们都知道我们在这些文件中的任何一个中都会收到严重的警报。我想要一个脚本或免费软件，它可以帮助我单独解析 SEVERE 警报并邮寄到我的电子邮件中。

例如：

脚本必须从“SEVERE:....”解析到文本，直到下一个“SEVERE:....”或文件末尾。该脚本可以在 shell 或 python 或 ruby​​ 中。

这是一个我似乎无法解决的微不足道的问题。我正在使用 LogParser 分析一些电话系统 CSV 日志文件。我正在尝试生成两个日期之间所有来电的图表，按星期几分组。我已经实现了这一点，但我正在努力让图表以正确的顺序显示列，从星期一开始。我传递给 LogParser 的 SQL 查询如下：

它实际上以正确的顺序输出，根本没有任何 ORDER BY 语句，但我认为第一列始终是日期范围开始的那一天，而我希望它始终是星期一（以便于比较图表）。目前发生的事情是将我的日志文件中的时间戳转换为星期几的字符串表示（用于输出），据我所知，没有内置逻辑'星期一'小于'星期二'等等。我的直觉是在 ORDER BY 中使用 CASE 语句，但 LogParser 不会接受这一点。

这是我的整个 LogParser 命令，以防万一，

我只想让我的结果订单始终从星期一开始，无论日期范围如何。有任何想法吗？

编辑 - 这是包含在 ORDER BY 中的 CASE 语句的查询。

我想使用 RE 解析日志文件并返回 orderid（如果存在）。例如：

这是一个示例日志

我想要做的是使用正则表达式，这样我就可以解析日志消息的组成部分。但是当存在“OrderId”时，我希望能够解析 orderid #。

这是我到目前为止所拥有的：

这对于解析具有它们的行的 orderid 非常有用，但是当行没有它们时它会失败。我尝试添加“？” 零或一到订单行，然后解析所有行，但从不解析实际的 orderid。它们始终为空。

希望有人能看到我做错了什么。谢谢！

（我希望它解析每一行，因为我将解析每一行中的多个 id 值，它们可能存在也可能不存在。如果我正在搜索的内容存在，我希望它返回该值，如果不存在则返回 null/empty t 存在。它需要为每一行返回一些东西。这将被插入到 LogParser 中，以便我们可以查询或记录特定订单或其他变量）

我希望使用 LogParser.DLL 程序集，所以我在普通控制台应用程序上对其进行了测试，它可以工作，然后我将它放入服务器，发送到 win 2003 进行测试（我没有更多可用空间来安装数据库等服务），。 .. 它总是在 eventViewer 日志中返回 FileNotFoundException 错误...

我尝试使用堆栈跟踪来查看实际发生的情况，我发现 DLL 根本没有导入，在谷歌搜索后，我在这个网站上找到了答案，告诉使用 .Net 命令提示符，然后使用导入汇编命令，如果我写它是 tblimp "file name" /out "new file"

我制作了我的程序集，它是 .net 4，所以我去了我的旧 VS，并做了同样的事情来提供一个 .net 2.0.x 兼容的 DLL，我使用它并且它有效，但是......

出现新错误：

错误消息：检索具有 CLSID {8CFEBA94-3FC2-45CA-B9A5-9EDACF704F66} 的组件的 COM 类工厂失败，原因是以下错误：80040154。StackTrace：在 FileEventReaderService.EventReader.ReadEventsAndStoreInDatabase（字符串 startDate，字符串 endDate）

我试图捕捉异常并查看是否导入了任何数据，但似乎 rs 什么也不返回，也没有“finally”块中的 if(rs!=null) 再次它本身就是一个错误，这意味着 rs 为空

事件类型：信息事件源：EventLoggerService 事件类别：无事件 ID：0 日期：2012 年 8 月 5 日时间：上午 2:47:20 用户：不适用计算机：HF-SERVER-PC 描述：Debug-EventReaderClass：T1 -2

类变量信息：

_logProvider：FileEventReaderService.Services.Logger.EventLogger _logProviderDebugMode：FileEventReaderService.Services.Logger.DebugLogger _licenceState：好的 _dataBase：deadManN _interval：5 _timeGap：1 _previousReadTime：8/5/2012 2:40:19 AM _lastReadTime：8/5/2012 2:46:20 AM _parserLock：System.Object _subtleTime：TimerLib.SubtleTime _parserService：FileEventReaderService.Services.Util.ParserService5 _connectionStringBuilder：FileEventReaderService.Services.Util.ConnectionStringBuilder _lastTime：18 _minutes：18

有关详细信息，请参阅http://go.microsoft.com/fwlink/events.asp上的帮助和支持中心 。

上面的日志，是我在错误之前做的最后一个日志，然后它显示了记录在“catch”块中的日志，所以错误可能在这里：

所以我再次开始搜索我的错误消息，并发现了一些我无法单独处理的事情，

例如，我看到有人对您说需要注册 DLL manulay 或使用 dllregisterservice 或有关将应用程序仅编译为 86X cpu 类型的事情，但我不想这样做......因为我不为单个用户编写这个使用已知的硬件和软件...

现在有人可以帮忙吗？在设置应用程序时注册 dll 或任何其他可能对此事有帮助的事情？“Interop.MSUtil.dll”库？

并且请帮助，这对我来说非常重要，但我仍然需要太多时间，大约几个月后，我只检查逻辑错误，而不是编译错误：|

我试图在基于 regex 的日志文件中找到匹配的行，然后检查其中的组并报告预期的和实际的行。以下示例显示了我正在尝试做的事情。

我真正的用例是第一个参数将是一个文件对象。find_line 函数将继续跟踪文件，直到找到匹配项（正确或错误）或固定超时。

我正在寻找一种find_line能够提供所需输出的实现。有什么建议/解决方案吗？

假设您有一个网络服务器日志（apache、nginx 等）。从中提取大量 URL：

或者

你将这些 url 分解成它们的片段，这样你就有 ['article', '1323', 'view'] 或 ['blog', '2012', '08', '30', 'how-i-wasted-my -暑假']。

如何分析和比较这些 url 以检测和调用 url 路径中的“变量”。也就是说，您需要识别诸如/article/XXX/view、/article/XXX/edit和/blog/XXX/XXX/XXX/XXX之类的内容，以便您可以在日志中汇总有关这些行的信息。

我假设对于构成可变片段与外观相似但不同的模板的差异数量需要一些统计阈值。我也不确定什么样的数据结构可以让这个分析变得又快又容易。

我希望脚本的输出能够输出它认为服务器上存在的所有 url 模板，如果合适的话，可能带有一些置信度值。

我已abc=1234添加到 cookie。

它显示在 IIS 日志中。但是cs(Cookie) 字段显示的其他 cookie 也用分号分隔。

我想使用logparser来获取 cookie 的值abc。

你能建议一个查询吗？

例如，如果 cs(Cookie) 具有 value +pqr=999;+abc=1234;+xyz=222，则 logparser 查询应该返回1234。

我使用 Logparser 解析 IIS 日志并在网页上显示信息。在我的开发环境中一切正常，但是一旦我将应用程序发布到服务器，我就会收到以下错误：

由于以下错误，检索具有 CLSID {8CFEBA94-3FC2-45CA-B9A5-9EDACF704F66} 的组件的 COM 类工厂失败：80070005 访问被拒绝。（来自 HRESULT 的异常：0x80070005 (E_ACCESSDENIED)）。

说明：执行当前 Web 请求期间发生未处理的异常。请查看堆栈跟踪以获取有关错误及其源自代码的位置的更多信息。

异常详细信息：System.UnauthorizedAccessException：检索具有 CLSID {8CFEBA94-3FC2-45CA-B9A5-9EDACF704F66} 的组件的 COM 类工厂失败，原因是以下错误：80070005 访问被拒绝。（来自 HRESULT 的异常：0x80070005 (E_ACCESSDENIED)）。

这个错误是什么意思，我该如何解决？

我有一个具有以下结构的日志文件。

如您所见，一个日志文件中嵌入了多个 XML 文档。在开始编写自己的东西之前，我想知道是否有一个通用实用程序或库可以在这里重用。我在Java中需要它。

谢谢。