问题标签 [logstash]

我们有一个非常分布式的系统。用户在站点上的请求可能涉及对多个服务的调用。例如，当用户登录网站时，会调用广告服务、个性化服务、相关新闻服务等，以构建登录时显示所需的数据。高级设计：对 URL 的请求被映射到 Spring MVC 控制器，并且该控制器对不同的服务进行调用（大多数使用 HttpClient）。

我们正在使用 Logstash、ElasticSearch、Kibana、Log4j/SLF4J 实施集中式日志解决方案。当网站上报告问题时，我们希望能够更改日志级别以进行调试并查看所有服务中特定请求的日志消息。我们在 Log4j MDC 中填充请求 ID，因此我们能够识别 webapp 服务器上该特定请求的日志消息。如何关联来自对其他服务的调用的消息？

流程：用户登录 --> 请求映射到 Spring MVC 控制器，该控制器通过在 Log4j MDC 中填充请求 id 来记录消息 --> http 客户端调用服务 1、服务 2、服务 3

如何将来自 service1、service2、service3 的消息与 MVC 控制器记录的消息相关联。一种解决方案是在 http 客户端调用中传递请求 ID。有很多应用程序遵循这种范式，因此到处更改代码并不是一个理想的解决方案。

更新1：

我对jvm代理了解不多，但我想知道是否可以开发自定义代理来拦截网络调用并添加参数。接收方的客户代理将检测到参数并将其添加到 ThreadLocal 变量中。Dynatrace PurePath 技术以某种方式关联跨 JVM 的调用——它们需要注入他们的 jvm 代理，所以我猜他们正在拦截代理中的调用。看看这个视频

我正在尝试在 Windows 机器上运行 Logstash 和 Elasticsearch。

ElasticSearch 服务器设置为使用单播（无法使多播工作）。

Logstash 代理使用“elasticsearch_http”输出插件，因为我无法让常规的“elasticsearch”插件与 Elasticsearch 对话。

所以，我现在的问题是我不知道如何为 Logstash Web 后端设置命令行参数。我尝试了各种设置：

但是我在尝试搜索时不断在浏览器中收到此错误：

我在 logstash_webui.log 文件中看到了这个错误：

您能提供的任何帮助将不胜感激。

我正在调试的应用程序创建日志文件，其中许多 API 调用记录为两个事件：

我最近开始使用 LogStash（将 Kibana 作为 Web Front）将日志倒入 ElasticSearch。

有没有办法进行包括附近线路的搜索？假设请求和响应总是连续的，如果这有帮助的话。

使用 grep 我会这样做：

如何对现有的 LogStash+ElasticSearch 部署执行相同的操作？

我有一些日志，我想使用 logstash 来整理。它将是 logstash 代理，作为源服务器上的托运人前往中央日志服务器。我想使用从托运人到中央日志的 UDP，因此如果记录器失败，我可以完全隔离（我不希望 70 多台生产服务器受到任何影响）。我能看到使用 udp 进行传输的唯一方法是使用 syslog 格式输出。有谁知道我可以从 logstash 本地输出 UDP 的方法？（文档暗示了这一点，但我必须在 TCP 端遗漏一些东西？）

尽管我遵循了官方教程中的所有步骤，但当我尝试使用 Web 前端启动 Logstash 时，我遇到了异常。首先我试过logstash-1.1.10-flatjar.jar了，它甚至没有开始。然后我发现了这个问题，所以我logstash-1.1.11.dev-flatjar.jar按照建议下载了。现在，当我初始化它时它不会给出任何错误。但是当我找到我的浏览器时，myserver:9292我在控制台和 web ui 上都看到了如下错误：

我正在使用官方教程的配置；这是我的indexer.conf文件：

我打算在多个客户端上运行logstash，然后将它们的logstash报告提交给服务器（例如Ubuntu机器）上的弹性搜索。

因此，有几个运行 logstash 的客户端将他们的日志输出到 COMMON 服务器上的弹性搜索。

是否可以在各种客户端上使用 Logstash 将这种 o/p 重定向到服务器？

如果是，配置文件是什么？

概括：

我正在使用 Logstash - Grok 和弹性搜索，我的主要目的是首先通过 logstash 接受日志，通过 grok 解析它们并根据日志类型将标签与消息相关联，然后最后将其提供给 Elastic 服务器用 Kibana 查询。

我已经编写了此代码，但无法在 Elastic Search 中获取标签。这是我的logstash confif 文件。

我哪里错了？

摘要：我想在 logstash 中附加一个带有日志的 TTL 字段，并将它们发送到 Elastic 搜索。

我已经阅读了文档，但无法获得太多信息，因为它不是很清楚。

这是我在 logstash 中的配置文件。

现在假设对于读取的每个日志，我想附加一个 TTL，比如说 5 天。

我知道如何在弹性搜索中激活 TTL 选项。但是我必须在弹性搜索配置文件中进行哪些更改对我来说不是很清楚。文档要求查找映射文件夹，但弹性搜索下载文件夹中没有。

寻求专家帮助。

我将在我的项目中使用 logstash+ES+kibana。我想知道如何将这个框架用于多租户。谁能解释一下身份验证 Kibana 后如何查询弹性搜索索引并加载到 Kibana 的仪表板中？我可以限制 kibana 查找特定用户或某些 ID 的弹性搜索的特定索引吗？有人试过这个吗？

谢谢

我需要为从 logstash 导出的每个日志添加一个 TTL。

我已经在 config 文件夹下创建了一个文件夹“mappings”，在该文件夹下我有一个文件夹 _default，在该文件夹下我有一个 json 文件default .json，它有：

我正在使用 logstash 将我的日志导出到弹性服务器。配置文件是：

我应该期望日志会在 10 秒后从 ELlastic Search 中删除，但事实并非如此。日志持续存在。我哪里错了？我完全被困住了。

需要帮忙。