问题标签 [access-log]

我有一个来自访问网络日志文件的数据集，我有兴趣找到类似的集群。（我是数据挖掘的绝对初学者）。到目前为止，我已经参考了许多关于同一问题领域的研究论文。

从 Web 日志中聚类 Web 访问模式的有效方法

使用 k-means 聚类对 Web 查询的用户意图进行分类

我想使用 k-means 聚类来聚类网页。尽管这些论文讨论了该算法，但它们并没有具体说明提供输入数据集的方式。k-means使用欧几里得距离计算数据点之间的相似度。那么如何规范化我要使用的数据集来挖掘，k-means因为 url 不能直接用于 k-means。对此有任何帮助/好的参考吗？

示例数据集（p1..pn 是不同的网页）

我配置logback.xml它工作完美但logback-access.xml不起作​​用。

在 Maven 中pom.xml

在src/main/resource

有没有办法配置访问日志？

我在 ec2 中托管一个小型测试网站，应该只有 2-3 个测试用户有效登录到我的服务器。但是，我在我的 apache access_log(/var/log/httpd/access_log) 中看到了很多垃圾日志：

198.2.208.231 - - [13/Dec/2013:21:11:07 +0000] “GET http://ib.adnxs.com/ttj?id=1995383&position=above HTTP/1.0”302 - “ http:// www.minbusiness.net/?p=611 " "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0 Safari/533.16"

173.234.32.69 - - [13/Dec/2013:21:11:07 +0000] “获取http://ads.creafi-online-media.com/st?ad_type=iframe&ad_size=728x90,468x60§ion=5172215&pub_url= ${ PUB_URL} HTTP/1.0" 302 - " http://lookfashionstyle.com/index.php?option=com_content&view=category&layout=blog&id=42&Itemid=98&limitstart=24 " "Mozilla/4.0（兼容；MSIE 6.0；WINDOWS；.NET CLR 1.1.4322)"

198.136.31.98 - - [13/Dec/2013:21:11:07 +0000] “GET http://ad.tagjunction.com/st?ad_type=ad&ad_size=468x60§ion=4914662&pub_url= ${PUB_URL} HTTP/1.0” 302 - " http://www.benzec.com " "Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.0.13) Gecko/2009073022 Firefox/3.0.13"

……

不完全确定发生了什么……我被攻击了吗？

谢谢！

我使用 Graylog2 服务器作为我的应用程序日志服务器。但无法将 apache 日志连接到 graylog2。有没有将 apache 日志发送到 graylog2 服务器的指南，或者有人可以帮我解决这个问题吗？

我已成功运行 SQUID 代理。我的问题是，如果 2002** (ex. 20020403.gz) ，为什么我的日志会显示日期？当我 2 个月前刚刚安装 SQUID Proxy 时......所以它应该显示类似 2014**（例如 20140114.gz）的内容。

请帮忙。谢谢！

我使用 Nginx 作为 Web 服务器。

有什么方法可以提取http_referer_hostname并放入访问日志中。

例如：如果$http_referer是"http://example.com/?somedata"，如何仅将主机名部分（example.com）记录到该access.log行？

为了调试性能问题，我在 tomcat 中启用了访问日志。我们没有使用任何 apache 服务器。它是我们正在使用的嵌入式 tomcat。

我正在使用以下模式来访问日志。

%D = 收到请求的第一个字节的时间 ~ 发送响应的最后一个字节的时间。

所以 %D 也包括网络延迟。

但是如何打印接收到的请求的第一个字节和发送的响应的第一个字节之间的时间差。

我想在我的服务器上禁用日志记录（access_log和）。error_log这可以通过函数实现ini_set()吗？如果是，你是怎么做的？

我的访问日志有以下奇怪行为。日志配置如下：

我认为这是非常标准的。我的访问日志中的大多数行都以两个 IP 地址开头：

第一个是我的，第二个是客户端的 ip。但是，有时我会收到一条包含三个地址的线路：

当然，所有地址和网址都是伪造的。

那么，当我看到三个这样的地址时，这意味着什么？中间的地址通常是 10. 子网，实际上不可能；-) 这种情况（访问日志中的三个地址）每周大约发生 3 次。

我的设置 httpd -> virtualbox with httpd -> tomcat （但访问日志是由第二个 httpd 编写的）。

提前感谢莱昂

我想将传入请求的 IP 地址记录到 GlassFish 的日志中。在做了一些研究后，我发现了如何。但这里的问题是我学会了如何在访问日志文件中记录它。有没有办法在 server.log 文件中记录 IP 地址？！