python - 从生产服务器抓取日志文件

Question

我用python开发了一个用于在线web服务用户行为研究的统计系统，主要依赖于读取和分析来自生产服务器的日志。目前我在 SMB 协议下内部共享日志文件夹以供常规分析程序读取，但对于数据访问方法，我有 2 个问题，

1. 除了通过 SMB 之外，还有其他方式访问日志吗？还是其他策略？
2. 我猜很多read可能会阻塞生产的HD并影响正常的日志写入，有什么解决方案可以解决这个问题吗？

我希望我能想出一些实数，但目前还没有。任何人都可以给我一些指导，让我更优雅地做到这一点？

Answer 1

如果您愿意使用第三方日志聚合工具，您有几个选择：

• http://graylog2.org/
• http://www.logstash.net/
• http://www.octopussy.pm/
• https://github.com/facebook/scribe

此外，如果您正在记录到 syslog - 许多常用的 syslog 守护程序（例如 syslog-ng ）可以配置为将来自各种应用程序的日志转发到这些聚合器中的一个或多个。从 python 应用程序记录到 syslog 很简单——标准库中有一个 syslog 模块

Answer 2

好吧，如果您在两者之间有一个 HTTP 服务器（IHS、OHS，我猜也是 Apache...），那么您可以通过 URL 公开您的物理存储库：您的每个文件也将受益于 URL，并且通过这种您可以很容易地下载它们的代码：

import os
import urllib2

# Open our local file for writing
f = urllib2.urlopen(url)
with open(os.path.basename(url), 'wb') as local_file:
    local_file.write(f.read())