问题标签 [access-log]

我有一个 Apache 访问日志文件，其中包含一些数据并且还在不断增加。我想使用 Apache Spark Streaming API 分析这些数据。

Spark 对我来说是新的，我创建了一个程序，在其中我使用 jssc.textFileStream(directory)函数来获取日志数据。但它不符合我的要求。

请向我建议一些使用 spark 分析该日志文件的方法。

这是我的代码。

此代码不会从现有文件返回任何数据。这仅在我创建新文件时有效，但是当我更新该新文件时，程序再次不会返回更新的数据。

目标

我希望使用 RRDTool 从我们的 Web 应用程序的 apache/tomcat 访问日志中计算逻辑“用户活动”。

具体来说，我们想在一段时间内计算几个 url 模式的出现次数。

例子

我们有两个应用程序（称它们为“foo”和“bar”）

这些网址让我们感兴趣。它们表明用户何时“做了有趣的事情”。

基本上，我们想知道给定时间间隔（10 分钟、小时、天等）有多少用户：跳跃、跳过、跳跃、爬行、步行等。

参考/起点

这篇关于将访问日志导入 RRDTool 的文章似乎是一个有用的起点。 http://neidetcher.com/programming/2014/05/13/just-enough-rrdtool.html

但是为了澄清，这个例子直接使用访问日志，而我们想要少数 url 的“桶中”并计算“每个桶中的数量”

需要一些脚本..

我可以用 bash & grep & wc 来做到这一点——遍历模式，将输出发送到“中间结果”文本文件......但相信 RRDTool 可以用最少的“外部编码”来做到这一点

也就是说，我相信 RRDTool 可以用最少的“外部编码”来做到这一点——但我不清楚细节。

几点

• 我提到“两个应用程序”是因为我们实际上是从具有不同日志文件格式的单独服务器上提供它们的。我想把它们放到同一个 RRA 文件中

• 最终我想在仙人掌中报告这个；但是，最初，我想了解 RRDTool 详细信息

• 愿意进行任何编码，但希望尽可能保持高效——包括管理和计算机资源。（通过管理，我的意思是：易于监控新实例）

• 我对 RRDTool 非常陌生，并且正在 RTM'ing 中。（并浏览教程）。我已经习惯了关系数据库和电子表格等，并且不关心 RRA 格式的所有细微差别。

提前致谢！

过去几周，我的传入流量多于传出流量，当我查看访问日志时，每小时会收到超过 100.000 个此类请求。因为 ip 地址来自本地主机，所以我不知道如何阻止这种攻击。

我在 Apache.conf 中设置了 LogFormat。但我无法在 access.log 中看到来自 cloudflare 的任何日志。你能建议我吗，这对我们来说很棒。

用于检测 ：

在使用 php 进行 Web 开发时，我在 .php 文件中的某处进行了检查

AbcController.php

但是在fetching the Access logs for AbcController.php with 'auth' cookie设置（grep 'auth'）时，服务器端计数与访问日志计数不同。请帮助我，因为这是我无法弄清楚的事情。

编辑：服务器端日志记录正在文件级别完成。访问日志在我们正在搜索的标头中显示 cookie。

我真的需要一些帮助。我的服务器有多个虚拟主机，每个虚拟主机都有它的访问日志，我需要能够为服务器上存在的每个虚拟主机自定义 LogFormat。我已经修改了 LogFormat，httpd.conf但它实际上只影响主访问日志而不影响虚拟主机。

这是我的日志格式：

上述 LogFormat 仅影响位于以下位置的主访问日志：/usr/local/apache/logs/access_log但是，它不会影响服务器上访问日志位于以下位置的任何虚拟主机：/home/username/access-logs/domain.com

我不确定我的 LogFormat 本身是否有问题，或者我遗漏了什么。我花了很多时间试图解决这个问题，但没有找到解决方案。如果有人能对此有所了解，我将不胜感激。谢谢你。

我正在尝试配置访问日志。我已更改 slapd.conf 文件并尝试使用 slaptest 进行测试，但在执行slaptest -f /etc/openldap/slapd.conf时出现错误。

slapd.conf 配置：

我在覆盖访问日志中收到错误

我错过了什么..？

我正在尝试配置LogbackValve获取访问日志，以防我的基于 Spring Boot 的 Web 应用程序从嵌入式 Tomcat 运行。以下是配置代码：

但是，每次我在调试模式下使用“mvn spring-boot:run”启动应用程序时，我都会在尝试创建“tomcatEmbeddedServletContainerFactory”bean 的实例时看到日志显示“找不到 LogbackValve”。但是，另一个日志语句表明创建了这个 bean。因此，它总是初始化自动配置类“org.springframework.boot.autoconfigure.web.EmbeddedServletContainerAutoConfiguration”中定义的bean。

现在，我已将我的课程修改为：

我已经在Git上问过这个问题，并且已经解决。但是，在这里，我要提出的一点是，为什么 @ConditionalOnBean(value = LogbackValve.class) 没有检测到也已定义的 bean。

我搜索了文档，但没有找到答案。打开访问日志的首选方式是什么？

我希望 HTTP 动词、请求的路径、源 IP 地址……打印到标准输出或日志文件。

到目前为止，我得到的是：

服务器响应请求，但我看不到任何日志。

我目前需要使用slc run（无进程管理器）运行应用程序。

我使用 logback-access 而不是 tomcat 默认阀门。

我使用了 %b 模式，但输出太奇怪了。

首先，我使用类“ch.qos.logback.access.tomcat.LogbackValve”

我写了这个模式。

其次，我使用类“org.apache.catalina.valves.AccessLogValve”

我写了这个模式。

我认为它们是相同的，并尝试使用相同的时间。但“%b”属性输出不同。

这是一个例子。

首先，Logback。

[02/Jun/2015:20:12:28 +0900] /test/testLayout.css 200 366 -

二、Tomcat阀门。

[02/Jun/2015:20:12:28 +0900] /test/testLayout.css 200 367 2769

Logback 的输出是“-”但 Tomcat 是“2769”

我认为 Tomcat 阀门的值是正确的。

为什么它们不同？

请告诉你的建议。

附言。Logback 版本是 1.1.3。我使用 logback-core-1.1.3.jar、logback-classic-1.1.3.jar。同时使用 logback-access-1.1.3 时，tomcat 报错。