问题标签 [log-files]

我正在尝试解析一个日志文件。它包含下面给出的结构我想用python来做它并想将提取的数据存储在数据库中我该怎么做？

我能够解析简单的键值对但面临一些问题。

1：如何解析嵌套结构，例如示例文件中的上下文字段嵌套在主组中？

2：如果分隔符以字符串形式出现，如何处理条件。就像键：值对分隔符是冒号 (:) 并且在“站点”键中有一个键：值对 site_url: http://something.com这里的 url 还包含冒号 (:)，它给出了错误的答案。

我想将日志文件转换为可以在 R 中读取的格式以进行进一步分析。

我在尝试寻找解决方案时遇到的事情。Regex、RecordBreaker、OpenRefine 或 GoogleRefine，R 有 stringr 和 dplyr 等。

我尝试使用 OpenRefine，它看起来很有用，但仍然希望获得更多指导，因为他们说日志文件是真正的大数据。

数据看起来像这样；

底层结构是这样的；

1. 每条记录以 M 开头，以 E 结尾

2. D 是提供有关单个记录的更多信息的变量。因此，如上面的日志文本所示，第一个实例以 M 开头，以 E 结尾，在 D 之间提供相关 ID、连接 ID 等信息。

所以上面的日志文件应该是数据表格式的一行，以 D 为变量。

可能的解决方案：

我需要为生产环境安装 SQL 服务器。系统中只有两个驱动器，一个为 120 GB，另一个为 50 GB。如何选择驱动器来保存用户定义的数据库数据和日志文件以及临时数据库文件。

我有一个每天运行的 grep 命令，用于在巨大的日志文件中查找条目。

此命令在我们的开发环境中运行良好。但在我们的生产环境中，它输出的响应与日志文件中的条目不同。

这是命令：

日志文件中的实际条目：

命令输出：

预期输出：

grep 命令的这种不一致行为背后的原因可能是什么？

我有一个格式如下的文件：

如您所见，有两个值由制表符分隔。我需要

• 将第一个令牌（例如 10302、12303...）索引为 ID
• 从第二个标记（XML 文档）中提取（然后索引）一些信息。换句话说，第二个标记将与 xml 过滤器一起用于提取一些信息

是否可以使用 kv 过滤器分离两个值？理想情况下，我应该以这样的文档结束每一行：

我可以使用 grok 过滤器，但我想避免使用任何正则表达式，因为字段检测非常容易，并且可以通过简单的键值逻辑来完成。但是，使用普通的 kv 检测，我将以以下方式结束：

这不是我需要的。

我尝试了所有方法来查找原因，但不确定发生了什么，尝试使用 jProfile，但由于 cpu 已经处于 100%，它没有得到任何结果。

我在 Tomcat8 上的 amazon linux 上运行 Spring 应用程序（WAR 文件）。没有数据库操作，但是是的，它访问了一个用于在不同环境中运行的不同操作的 rest api。在beanstalk中的负载均衡器后面有3 台服务器运行相同的问题。平均每小时518K请求，平均延迟72.2 毫秒

我觉得代码本身没有太大问题

我刚刚尝试了一个命令 kill -3 pid（java 进程），并在 catalina.out 文件中得到了一些结果。我可以一次又一次地看到以下错误

最后是以下信息

有人可以解释一下这里发生了什么吗？

好的，这是我从日志中提取的一些处于running状态的日志

（在日志中有几次）

还有一个不确定它是否导致问题（但只有一次在日志中）

并且这一行的代码是con.getHeaderFields()，其中 con 是HttpURLConnection

和少数其他处于运行状态的踏板

和最后一个

Tomcat显示无法开始使用eclipse marce或luna，但tomcat 7或8在windows 8.1下通过startup.bat通过cmd运行良好，但是当尝试使用eclipse时问题开始，我已经清除日志并更改了tomcat的目录还可以更改 Eclipse 工作区，但结果相同。谢谢

我编写了用于登录python的函数：

它有效。我可以调用这个函数，像这样：

你怎么看，我可以通过写入不同的日志文件来调用我的函数。但我想使用配置文件。使用配置（来自 python 的官方文档）：

好的，fname这是配置的名称，但我如何使用占位符作为日志文件的名称？

从配置写入文件的一部分：

看到了吗，args=('wwe.log','a')。如何放置占位符，而不是文件日志的名称？我再说一遍，我想调用函数，就像我在方法的帮助下所做的那样：

LOG = host_utils.go_logger('wwe.log')

但是使用配置文件。你能给我什么建议？

我在根目录和子文件夹中创建了一个包含各种脚本的模块。我之前正在创建一个定义中央记录器实例的日志记录脚本，并且我正在使用RotatedFileHandler来创建日志文件。问题是我无法找到可以决定模块执行已结束并且记录器实例需要doRollOver的条件。该怎么办？

我在日志文件中有一个 NetApp 日志输出，格式如下。

DeviceDetails.log 文件内容

其中输出只有 2 个设备，它在日志文件中附加了超过 x 个设备。

我只需要每个模块的 4 个详细信息，第一行包含 3 个所需的详细信息

设备名称：/vol/DBCXARCHIVE002_E_Q22014_journal/DBCXARCHIVE002_E_Q22014_journal

总容量 : 1.0t (1149038714880)

状态：（读/写，在线，映射）

我需要的第四个细节是占用大小：1004.0g（1077986099200）

因此 CSV 输出应如下所示：

我不仅仅是编码的初学者并试图用下面的代码来实现这一点，但它并没有多大帮助：/