问题标签 [log-analysis]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
web-analytics - 也可以分析现有日志档案的网络分析软件
我正在寻找一种 Web 分析解决方案，它还可以帮助我分析现有的日志文件。我们正在从锯木厂转向其他解决方案。探索了 Google Urchin，它在分析自定义现有日志方面存在一些限制。
目前正在探索网络趋势，但我不确定它是否支持自定义日志分析
有任何想法吗？？
jboss - 是否存在用于分析 JBoss 日志文件的工具？
我有一个正在运行的 JBoss 6 服务器，它会生成一个大日志文件。
是否存在允许我分析日志文件的工具（特定错误发生的频率？何时发生？有多少 INFO / WARNING / ERROR 消息，...）？
我听说过log4j，但似乎它只允许我为日志记录选项设置配置。我对吗？
如果没有 GUI 工具，您是否知道 Python/PHP 的库/模块/脚本可以帮助我解析日志文件？
data-mining - ejabberd 日志的日志分析工具推荐
我正在查看大量的 ejabberd 日志，并试图从中撬出一些有用的信息。是否有任何现有的工具可以帮助我完成一些工作，还是让我自己动手？
python - 使用 Python 进行日志分析（访问次数最多的 URL）
我是一个尝试使用 Python 来分析我公司的日志文件的新手。它们具有不同的格式，因此在线日志分析器不能很好地处理它们。
格式如下：
例子：
我现在要做的主要事情是获取所有 cs-host 和 cs-uri-path 字段，将它们连接在一起（http://thumbnail.image.example.com/mall/shop/cabinets/duelmaster/image01.jpg在上面的示例中），计算唯一实例，并根据访问次数，查看排名靠前的 url。例如，有没有办法让 Python 将空格视为单独的对象/列并抓取第 11 个对象？
另一个复杂因素是我们的每日日志文件非常大（~15GB），如果可能的话，我希望这在 20 分钟内完成。
Niklas B. 的代码运行良好，我可以打印顶级 IP、用户等。
不幸的是，我无法让程序打印或将其写入外部文件或电子邮件。目前我的代码看起来像这样，只有最后一行被写入文件。可能是什么问题？
对于 ip，计数 heapq.nlargest(k, sourceip.iteritems(), key=itemgetter(1)): top = "%d %s" % (count, ip) v = open("C:/Users/guest /桌面/日志分析/urls.txt", "w")
print >>v, top
database - 哪个nosql数据库用于异构记录？
我正在寻找不同的选项来存储日志条目以便于查询/报告。
目前我编写解析和查找数据的脚本，但是数据的需求量越来越大，因此将日志数据放入数据库变得值得。
日志条目由键值对组成，例如{"timestamp":"2012-04-24 12:34:56.789", "Msg":"OK"（简化示例）。
我确信最终日志格式将扩展为，例如{"timestamp":"2012-04-24 12:34:56.789", "Msg":"OK", "Hostname":"Bubba"，这意味着“模式”或“文档定义”将需要更改。此外，我们是一家 Windows + .NET 商店。
因此，我主要是在寻找一些 NoSQL 引擎，并发现 RavenDB 很适合从 .NET 中使用。
但是，我很难找到有关它和其他 NoSQL 数据库如何处理异构记录的信息。
你认为什么是合适的？
java - 日志分析：按时差查找行
我有一个很长的日志文件，用log4j, 10threads写入日志。我正在寻找可以找到用户等待很长时间的行的日志分析器工具（即同一线程的日志条目之间的差异超过一分钟）。
PS我正在尝试使用OtrosLogViewer，但它通过某些值（例如，通过线程ID）进行过滤，并且不会在行之间进行比较。
PPS 新版本的 OtrosLogViewer 有一个“Delta”列，用于计算 adj 日志行之间的差异（以 ms 为单位）
谢谢你
regex - 使用 sed 和正则表达式处理多行日志文件
我有一个看起来像这样的日志文件：
日志文件中的每个条目跨越两行，因此每个条目都以时间戳开头。我已经设法使用 sed 替换了第一行末尾的换行符，但问题是日志条目中间的某个地方是 java stacktrace 消息。当 sed 通过堆栈跟踪时，它会反转条目的顺序，它们以 INFO 或 ERROR 等开头，时间戳显示为第二行。因此，我正在寻找一种解决方案，该解决方案将强制 sed 使用正则表达式 [类似于 ^\d{2}] 将时间戳识别为第一行，然后在同一行中，将换行符替换为空格，然后将值分解为用于分析的列。堆栈跟踪消息以空格 [^\s] 开头，因此它们很容易识别和跳过。
使用 sed 或 awk 解决此问题的最佳方法是什么？
logging - 使用 goaccess 进行 nginx 日志分析
我想用goaccess解析和分析 nginx 日志，并从分析的日志中获取报告。但是，当我运行zcat -f access.log.*.gz | goaccess -a -c命令时，它给了我以下错误：
我试图将该行添加date_format %D %T到 .goaccessrc 文件中，但出现另一个错误：
我认为它要求 nginx 使用的日期和日志格式。但我的 nginx 配置中没有任何日期或日志格式。
此外，我尝试使用以前版本的 goaccess（0.4.2 版本）并且该zcat -f access.log.*.gz | goaccess -a -c命令工作正常。它不要求任何日期或日志格式，我可以查看 goaccess 菜单，我可以查看任何想要的数据。
但是当我尝试使用zcat -f access.log.*.gz | goaccess -a -c > report.html
命令获取 html 报告时，它什么也没做。它只是等待和等待。（没有给出任何警告或错误）
注意：我已经检查过这个网页，如果你也想看看。
http - 来自网络服务器搜索日志的用户和会话识别
在这里，我有一个 Web 服务器搜索日志（事务日志），其中包含详细信息，例如他/她请求的日期和时间戳、状态代码和许多其他字段的客户端 IP 地址网页。那么通过使用这个网络搜索日志文件，我如何执行用户识别和会话识别呢？谁能帮帮我吗 ....
ruby-on-rails-3 - 有没有办法从 Rails 3 日志文件中确定访问者统计信息？
最近，我们构建和托管的 Rails 3 应用程序在安装 Google Analytics 跟踪器时遇到了一些问题。这导致上个月跟踪的统计数据大大减少。我们有来自应用程序的生产日志，我想知道是否有人知道任何方法来解析这些以生成访问者统计信息（类似于网络分析包提供的信息）。我们需要在本周提供一份统计报告，并希望对失踪的访客有一些了解。任何建议或帮助将不胜感激！