问题标签 [splunk]

我们的网络应用程序发送电子邮件。我们有很多用户，我们收到很多反弹。例如，用户更改公司，他的公司电子邮件不再有效。

为了查找退回邮件，我使用日志解析器解析 SMTP 日志文件。日志来自 Microsoft SMTP 服务器。

有些反弹很棒，比如550+#5.1.0+Address+rejected+user@domain.com. 有user@domain.com反弹。

但是有些错误消息中没有电子邮件，例如550+No+such+recipient.

我创建了简单的 Ruby 脚本来解析日志（使用日志解析器）来查找哪些邮件导致了类似550+No+such+recipient.

我很惊讶我找不到可以做到这一点的工具。我找到了像 Zabbix 和 Splunk 这样的工具来进行日志分析，但对于这样简单的任务来说，它们看起来有点矫枉过正。

任何人都知道一个可以解析 SMTP 日志、查找导致它们的退回邮件和电子邮件的工具吗？

我已安装 splunk 以从我的日志文件中检索信息，并在找到特定关键字时提醒我。有什么办法可以获得可能的rails错误，以便我可以将它们作为关键字？

有时，生产中会出现持续数天或数周的严重错误（新的或重新引入的），而客户并不总是通知我们。我现在拥有的唯一工具是 grep、awk 和 perl，但一旦有人抱怨，我就会被动反应。

我想主动并在给定时间段内发生一定次数的特定错误时得到通知。但我不想收到关于每个错误的通知的垃圾邮件。

是否有适用于服务器集群的轻量级开源解决方案？电子邮件、SMS 或 RSS 都可以。此外，也可以在图表中查看报告和趋势，但不是必需的。

目前我使用 Apache Log4J，我知道我可以使用它发送电子邮件警报。但正如我所说，我不想为每一个错误都发送电子邮件。我想在系统何时通知我时获得一些情报。我希望我的应用程序代码之外的智能。

我正在考虑构建一个应用程序以插入Splunk 4以进行自定义数据收集、自定义、报告等（就像我看到其他 splunk 应用程序一样），但专注于 .NET 和 J2EE Web 应用程序。我正在寻找提示、技巧、最佳实践等，以帮助我超越我在 splunk 文档中找到的内容。

任何人都有关于构建 splunk 4 应用程序的良好链接列表和/或个人经验反馈？

我正在尝试找到可以用来构建类似于 Splunk 的最佳组件，以便从计算网格中的大量服务器聚合日志。它也应该分发，因为我每天都有大量的日志，没有一台机器能够存储日志。

我对可以与 Ruby 一起使用并且可以在 Windows 和最新的 Solaris 上工作的东西特别感兴趣（是的，我有一个动物园）。

我将架构视为：

• 日志爬虫（Ruby 脚本）。
• 分布式日志存储。
• 分布式搜索引擎。
• 轻量级前端。

日志爬虫和分布式搜索引擎没有问题 - 日志将由 Ruby 脚本解析，ElasticSearch 将用于索引日志消息。前端也很容易选择——Sinatra。

我的主要问题是分布式日志存储。我查看了 MongoDB、CouchDB、HDFS、Cassandra 和 HBase。

• MongoDB 被拒绝，因为它不能在 Solaris 上运行。
• CouchDB 不支持分片（需要 smartproxy 才能使其工作，但这是我什至不想尝试的东西）。
• Cassandra 工作得很好，但它只是占用磁盘空间，并且需要每天运行自动平衡以在 Cassandra 节点之间分散负载。
• HDFS 看起来很有希望，但 FileSystem API 只是 Java，而 JRuby 很痛苦。
• HBase 看起来是一个最好的解决方案，但部署它和监控只是一场灾难——为了启动 HBase，我需要先启动 HDFS，检查它是否启动没有问题，然后启动 HBase 并检查它，然后启动 REST 服务和也检查一下。

所以我被困住了。有人告诉我 HDFS 或 HBase 是用作日志存储的最佳选择，但 HDFS 只能与 Java 一起顺利运行，而 HBase 只是部署/监控的噩梦。

任何人都可以分享使用我上面描述的组件或完全不同的东西构建类似系统的想法或经验吗？

我希望能够执行一个脚本来提取当前的缓存进程信息。有人用缓存写过很多脚本吗？有没有更简单的方法来记录流程信息？最终结果是我想以一种可以将其登录到 Splunk 的方式呈现此信息

在我们的应用程序中，我们将关键信息记录到日志文本文件中，以供以后调试。如果我已经有一些数据点，如订单号或“未找到对象引用”类型的错误，则使用 splunk 很容易识别问题。但是，使用 splunk 全面了解问题对我来说是一项挑战。为了能够识别软件中的实际问题，我必须通读可能的多个日志文件或整个日志文件，以查看在问题发生之前应用程序在做什么。以人类的方式阅读整个日志文件有助于我在实际问题发生之前确定应用程序与其他数据点的行为方式。换句话说，我很难看到 splunk 错误的“真正根本原因”。您在软件开发领域的经验如何？

我正在尝试创建一个 splunk 将读取并索引的日志文件。使用 Splunk 的Common Information Model，我将日志格式化如下：

但是，当我将一个日志文件加载到 Splunk 中时，它会将这一切作为一个日志读取，并且不会将它们拆分！要在 c# 中写出日志，我使用的是 StreamWriter，最后我正在打印\r\n，但我也尝试过Environment.NewLine（显然做同样的事情）。

这些似乎都不起作用，因此不单独索引！有没有人有 Splunk 的经验并知道为什么会这样？

我能够找到作为请求的一部分生成的 GET 参数，但我无法检索请求的 POST 参数。你们能告诉我相同的搜索参数应该是什么吗？

IIS 是否真的记录了这个？

提前致谢。

我有许多要登录到 Splunk 的应用程序。我将通过 UDP 侦听器以 XML 格式发送数据。正在发送的数据如下所示：

然而，当它由 Splunk 处理时，它看起来像：

基本上它看起来像 Splunk 看起来它已经覆盖了打开的节点，因此丢失了日志级别的数据，以及它收到它的日期时间。发送它的应用程序使用带有 log4j 类型目标的 nLog（带有 Log4JXmlEventLayout 布局）。我已将 sourcetype 配置为 log4jxml（自定义名称），但我认为我需要告诉它不要对 props.conf 文件中的日期/时间字段执行任何操作（但不太确定那是什么）。

我也在使用 Windows 版本的 Splunk，因此文件路径与在线手册略有不同。

任何帮助都将受到欢迎。