问题标签 [logfile-analysis]

发现于：HoneyNet 项目。在 scan31 和 scan34 中

PHPIDS有一个过滤规则来检测 Web 访问日志文件中的攻击模式。

我想问我怎么知道可以在日志访问文件PHPIDS中检测到攻击（xss, sqli，他们告诉他们可以检测到的任何攻击） 。apache（不是从使用它。）

使用什么数据集PHPIDS来确认他们的过滤规则可以检测到。

我真的希望该数据集知道我的检测程序可以检测到攻击。

（这里的数据集是指包含许多攻击模式的 Apache 日志文件，我知道它在日志文件中有多少攻击模式）。如果我的程序可以检测到该数据集中的所有攻击模式，则意味着我的程序有效！

我可以有一个网站链接，我可以在其中下载网络访问攻击的攻击数据集（apache 日志）吗？

我找到了 DARPA 的一些数据集。他们有关于网络访问日志的数据集吗？

我有一个包含几十万行的日志文件。

我正在遍历这些行以查找带有某些特定文本的任何行，例如：!!event!!.
然后，一旦!!event!!找到一行，我需要在这一行之后继续循环，!!event!!直到找到接下来的 3 行，其中包含他们自己的特定 text ('flag1', 'flag2', and 'flag3')。
一旦找到第三行('flag3')，我就想继续循环下一!!event!!行并重复前一个过程，直到没有更多事件为止。

有没有人对我构建代码以完成此任务的方式提出建议？

例如：

样本文件.log

此示例中的代码应打印：

我需要对 Javascript/Node.js 中的大型（5-10 Gb）日志文件进行一些解析（我正在使用 Cube）。

日志线看起来像：

我们需要读取每一行，进行一些解析（例如5，剥离7和），然后使用他们的 JS 客户端SUCCESS将这些数据泵入 Cube（https://github.com/square/cube ）。

首先，Node 中逐行读取文件的规范方式是什么？

这似乎是网上相当普遍的问题：

• http://www.quora.com/What-is-the-best-way-to-read-a-file-line-by-line-in-node-js
• 在node.js中一次读取一行文件？

很多答案似乎都指向一堆第三方模块：

• https://github.com/nickewing/line-reader
• https://github.com/jahewson/node-byline
• https://github.com/pkrumins/node-lazy
• https://github.com/Gagle/Node-BufferedReader

然而，这似乎是一项相当基本的任务——当然，在标准库中有一种简单的方法可以逐行读取文本文件？

其次，我需要处理每一行（例如将时间戳转换为日期对象，并提取有用的字段）。

做到这一点的最佳方法是什么，最大限度地提高吞吐量？是否有某种方式不会阻止读取每一行或将其发送到 Cube？

第三 - 我猜测使用字符串拆分，JS 等价于 contains (IndexOf != -1?) 会比正则表达式快很多？有没有人在解析 Node.js 中的大量文本数据方面有丰富的经验？

干杯，维克多

I have the following structure for log files:

This file has :

files

I need to parse these files, using Python,

without extracting any files on disk OR memory

Any suggestions ?

我必须在 python 中使用 reg ex 解析一个大的日志文件（2GB）。在日志文件中，正则表达式匹配我感兴趣的行。日志文件也可能包含不需要的数据。

以下是文件中的示例：

我的正则表达式是".DEBUG.*MSG."

首先，我将使用空格将其拆分，然后将“字段：值”模式插入到 sqlite3 数据库中；但对于大文件，解析文件大约需要 10 到 15 分钟。

请建议在最短的时间内完成上述任务的最佳方法。

我必须在名为 q2.log 的日志文件中搜索类似“Socket not open”之类的错误，
如果找到该字符串，我必须发送邮件。
这个过程应该定期发生，我可以安排一个 chronjob，
但问题是我的第一份工作让我们假设我读了 1 到 1000 行下次我必须从 1000 搜索到剩余。我怎样才能实现它
提前谢谢

这是我的第一篇文章，所以请放轻松。我的问题与此处类似，但我无法使其正常工作，尽管我真的尝试过：“ py2exe with enthought and pandas ”。

分别安装了两个版本的python（x84-64，x32）和库后，我继续使用py2exe制作python脚本的可执行文件。我不得不下载丢失的 dll 文件：msvcp90.dll、libiomp5md.dll、libifcoremd.dll、libmmd.dll。
我创建的 Exe 文件返回错误并生成一个日志文件 - 对于 x32 和 x64 python&libraries 不同。

对于 32 位 python&libraries，我得到了以下日志文​​件（取决于我从哪个 numpy 库安装：http ://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy ）

对于 numpy-1.8.0-win32-superpack-python2.7 我收到了以下信息：

对于 numpy-MKL-1.8.0.win32-py 2.7：

对于 numpy-MKL-1.7.2rc1.win32-py2.7 我收到如上，但成倍增加。

对于 64 位 python&libraries，我得到了以下内容，与 scipy 和 numpy 版本无关：

我在 ..\build\bdist.win-amd64\winexe\collect-2.7\scipy\special 中有一些 ufuncs 文件，但我不确定它是如何工作的或应该如何工作。

那么我该怎么做才能使这些 .exe 正常工作呢？最好是与 64 位 python 一起使用的那个，因为通过在 SciTe 中使用 32 位 python 运行代码来打开程序需要很长时间并且内存过载。

编辑：

从 setup.py 中删除后 import numpy, pyqtgraph, scipy，我得到以下错误日志文件：

我们有一个构建系统，它确实将来自并行工作者的日志写入同一个文件。我正在寻找使用此类日志简化生活的工具。

此日志文件中的每一行都是任意文本字符串，以工作人员 ID 开头。例如：

• 11、14 和 7 在这里做无关的工作。

有时，单个工作人员生成的日志记录相隔数千行。我正在寻找一种优化这种体验的方法。隐藏所有不相关的记录会很好，只是为了看到有趣的记录。

作为奖励 - 有时工作人员可以通过一些持续的短信来使用新 ID 启动新工作人员。以某种方式跟踪这些依赖关系也会很好。

有人知道可以帮助解决此问题的工具吗？

我确实在互联网和这里搜索过，还没有明显的答案。

谢谢你！

我正在尝试将logfile（保存为文件的文本文件*.log）解析为 Visual Basic 2013 Express' DataGridView。日志文件使用空格作为分隔符，但日志的消息部分中有空格。这是日志文件的布局：

日期时间 ID Connection Type_of_message(command/response/status/etc) 消息（可能包含多个空格（每条消息的空格数量不同））

每个日志条目都是文件中的单独一行。

编辑：这是日志文件的示例：

我的数据库表中有已删除记录的主键，我想检查谁删除了这些记录。我的应用程序使用 asp.net 成员身份进行用户身份验证。除了我，没有人登录 SQL 服务器。

我不是 DBA，所以这对我来说很困惑，找到了这个，但对我来说很困惑。还发现了一些工具，例如 red-gate 和 apex-sql，但 red-gate 仅适用于 SQL 2000。