问题标签 [log-analysis]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elastic-stack - ELK，本地机器上的 Filebeat 设置，Logstash 不工作，伐木工人协议错误
我正在尝试学习 ELK 堆栈，根据建议，我已经下载了最新的 ELK 堆栈（6.4.2 版本）并在我的本地计算机上运行所有应用程序以及 Filebeat。当我将 filbeat 直接指向 Elastic Search 时，我可以在 Kibana 仪表板中获取数据，但是当我将其指向 Logstash 然后将 logstash 指向 Elastic Search 时。filebeat 日志中出现错误，由于伐木工人错误，它无法转发事件。我阅读了有关此错误的几页并验证了主机和端口，我在 filebeat 的端口 5044 上尝试了主机的 IP 地址和“本地主机”的值，但它没有解析。我尝试将 SSL 值设置为 true （并生成自签名证书并使用该证书）和 false ，但这也不起作用。
请有人指导我应该看什么才能让这一切顺利进行吗？
另外，我想在 Kibana 查询中使用正则表达式并创建变量来对它们进行进一步的操作，这在 Kibana 中是否可行？
提前非常感谢。
logging - 从 loganalaysis ibm cloud 中导出日志
有没有办法从 IBM Cloud 中导出日志？主要是来自 Activity Tracker 的活动日志。另外，有谁知道这些日志存储在哪里？我只能在 Kibana 中查看它们，但看不到任何与之关联的存储。
我试过了
real-time - 学习在 Splunk 中查询的基础知识
我刚刚开始学习如何使用 Splunk。我在哪里可以找到教程来学习实时日志分析和生成报告的基础知识。我尝试在 google 和 youtube 上查找，但对我来说有点复杂。有没有我可以开始阅读的虚拟指南或什么？
elasticsearch - 分析日志文件并显示结果的简单方法
我有一个日志文件。我想上传日志文件，我想对日志文件进行一些查询，然后我想显示结果。完成这项工作的最简单方法是什么？是否可以仅使用 Elastic search 和 Kibana 而不使用 logstash？
ibm-cloud - 在 IBM Cloud 中使用 LogDNA
我正在阅读有关在 IBM Cloud 中使用 LogDNA 的页面
https://cloud.ibm.com/docs/services/Log-Analysis-with-LogDNA?topic=LogDNA-about#about
它提到“日志数据被发送给第三方”。发送给第三方到底是什么意思？这是否意味着我们需要确保我们不能记录任何个人身份数据或任何其他可能不适合发送给第三方的数据？我只是想了解在这种情况下是否有关于什么可以记录/什么不能记录的最佳实践。
azure - 执行后将管道活动记录到数据库
目前，我们正在使用Visual Link监控 DataFlow Taks 如何实现日志分析和操作管理以获得所需的 Monitor pipeline runs 和 Monitor activity runs
使用 ADF - 需要活动运行信息插入到每个管道的数据库表中，可以创建 power bi 报告并使用我自己的图表和 kpi 与监控团队共享
请提供 Gitcode 或步骤以将 Monitor 管道/活动运行移动到数据库中。另外，有什么快速的方法可以将结果导出到excel
logstash - Filebeat 和 Logstash：日志数据未通过
嗨，我有 2 台服务器，其中一台有 Logstash 7.2.0，另一台有 filbeat 7.2.0。以下是我的logstash conf文件：
以下是我的 filebeat yml 配置：
Logstash 日志：我也重新启动了服务。
这是filebeat日志，
然而，这不会产生任何输出。我哪里错了？请帮帮我。谢谢！
elastic-stack - Filebeat 中未显示自定义字段名称
以下是我如何尝试在我的 filebeat 7.2.0 filebeat.inputs 中添加自定义字段名称：
有了这个，我期待一个名为的新字段application，其数据条目将是'oasis'。但我没有得到任何。我也试过
帮我解决这个问题。
elasticsearch - Azure Databricks 诊断审核日志上的异常检测
我有很多来自我正在管理的 Azure Databricks 群集的审核日志。日志是简单的应用程序审计日志，格式为JSON. 您有关于作业、集群、笔记本等的信息，您可以在此处查看一条记录的示例：
目前，我将日志存储到 Elasticsearch 中，并计划在此类日志上使用他们的异常检测工具。因此，我不需要实现任何算法，而是选择正确的属性，或者执行正确的聚合，或者使用多变量分析组合更多属性。但是，我不熟悉此类主题，也没有此背景。我已阅读异常检测：Chandola 等人的调查。，这对于将我指向正确的子字段非常有用。因此，我明白我正在处理时间序列，并且根据我将执行的聚合类型，我可能会面临序列数据的集体异常（例如：ActionName这些日志的字段）或序列数据的上下文异常。
我想知道您是否可以为我指明正确的方向，因为我还没有设法在审计日志上找到任何与异常检测相关的工作。更具体地说，我应该调查什么样的异常？哪种聚合将是有益的？
请记住，我有大量数据。此外，我将不胜感激任何形式的反馈，即使它不涉及 Elasticsearch；因此，请随意为这种异常检测场景提出一个完整的无监督机器学习方法，而不是 Elasticsearch 的简单用例。
amazon-web-services - Deepracer log_analysis 工具 - sagemaker 角色错误
我正在尝试在我的本地笔记本电脑上从https://github.com/aws-samples/aws-deepracer-workshops/blob/master/log-analysis/DeepRacer%20Log%20Analysis.ipynb运行 Deepracer 日志分析工具。但是，在尝试运行步骤 [5]“创建 IAM 角色”时出现以下错误。
有谁知道要执行以上代码而没有错误需要做什么？