问题标签 [td-agent]

我有 15 个日志文件，它们连接到某些服务并保存数据。我正在使用td-agent. 我为文件中的每个日志文件创建了索引模式td-agent-config。我的日志文件名称为：

等等。所以我也创建了名称作为索引模式。在elasticsearch中，我没有添加所有 15 个索引模式，而是创建了索引模式，health_*因此在此索引模式下，保存了所有 15 个日志数据。然后，我可以轻松查询并为当前运行的服务列表创建仪表板。

但我也想检查离线的服务。这意味着我需要检查哪些是弹性搜索中没有的索引模式数据。我曾尝试在线查找此内容，但没有得到有关如何显示离线索引模式数据列表的任何结果。谁能给一些好的建议。请帮忙。谢谢

我有一个流利的配置，它从文件中提取数据并推送到 SQL 服务器，但是有一个带有自动递增列的主键，所以，在我的流利配置中，如果我没有提到该列，它会抛出一个错误说该字段丢失，如果我在配置中包含该列，它会给出身份错误，在下面的配置中，“Id”是主要和自动递增的列，也让我知道适配器“sqlserver”是否正确使用。

我已经安装td-agent在Ubuntu18. td-agent.conf文件如下所示：

上面的 td 代理文件是示例文件，但我有 70 个源文件，我将数据上传到这些源文件，elasticsearch同样我有 70 个匹配文件。所以 td 代理文件很大，这就是为什么我只为 1 个源文件展示了它。现在的问题是 td 代理能够将所有数据上传到弹性搜索，我也可以在弹性搜索中看到数据。但我仍然在 td 代理日志文件中不断收到警告或错误：

2021-07-07 05:56:24 +0000 [警告]：#0 转储错误事件：error_class=Fluent::Plugin::ElasticsearchErrorHandler::ElasticsearchError error="400 - 被 Elasticsearch 拒绝" location=nil tag=" health035" 时间=2021-07-07 05:55:22.785788722 +0000 记录={"GatewayId"=>2, "input_1"=>1, "input_2"=>4, "NodeID"=>0, "固件" =>7, "counter"=>109, "sensor_id"=>244, "Sensor_name"=>"Other", "MsgMissed"=>0, "is_health"=>"Yes", "SignalStrength"=>74, “已创建”=>“2021-07-07T05:55:22.785491”、“MacGateway”=>“0013A20041AEC6AA”、“MacAdress_Sensor”=>“0013A20041C3672E”、“广播”=>“否”、“DeviceID"=>"TX-S2-SKL-035", "hostname"=>"TX-G1-318", "Customer"=>"SKL", "Version"=>"V2", "EquipmentId"=> “ACCUPACK3GD3”}

我无法理解这条错误消息，Rejected by Elasticsearch但我仍然可以在弹性搜索中看到数据。此错误是否意味着我正在上传大量数据，并且由于流量的原因，在某些数据之间，有些数据被 elastisearch 拒绝了？如果这是真的，任何人都可以建议我如何处理大量数据，因为我有 70 个日志文件需要将数据上传到 elasticsearch。

谁能建议这个错误的含义。请帮忙谢谢。

由于安全原因，我们不能保持纯文本的 SQL 身份验证，有没有办法隐藏或加密密码？

我很难使用 fluentd 和 http_pull 插件。我需要通过 API Rest 汇集一个 url 以从应用程序中获取一些日志。问题是我需要将一些参数传递给 url，例如 fromDate、toDate 和 offset。有没有办法可以传递和增加这些值？有没有其他插件可以用来解决这个问题？

提前致谢

有任何想法吗

我们正在使用fluentd将日志发送到aws kinesis firehose。我们可以看到很少有记录不时发送到 aws kinesis firehose。这是我们在fluentd中的设置。

我正在使用 fluentd 配置从文本文件中读取数据并将其推送到 Oracle 数据库，当 fluentd 推送数据时，我有 clob 和 nclob 类型的数据类型，该列始终为空，我没有看到任何错误。我不确定如何在 fluentd 中解决这个问题，下面是我所做的配置。

我正在使用 oracle 增强适配器和 sql 插件

https://github.com/rsim/oracle-enhanced

https://github.com/fluent/fluent-plugin-sql/issues

创建表 FLUENTD_LOG (ID NUMBER(8), CREATED_AT VARCHAR2(50 BYTE), MEM_TEXT CLOB, MEM_USED VARCHAR2(50 BYTE))

我们在 fluentd 管道中有以下记录转换器配置：

我们正在使用 S3 插件将日志推送到 S3。现在我们要使用自定义路径将日志保存在 S3 上ProjectName/ENv/service，为此我们创建 S3 输出插件，如下所示：

不幸的是，这对我们不起作用。低于警告日志：

期待对此的指导或任何建议。

尝试使用 td-agent 和 fluent-google-cloud 插件配置 fluentd 输出。插件和所有依赖项都已加载，但 fluentd 没有输出到谷歌云日志和 td-agent 日志状态error="Unable to read the credential file specified by GOOGLE_APPLICATION_CREDENTIALS: file /home/$(whoami)/.config/gcloud/service_account_credentials.json does not exist"。但是，当我转到文件路径时，该文件确实存在，并且 $GOOGLE_APPLICATION_CREDENTIALS 变量也设置为文件路径。我应该怎么做才能解决这个问题？

尝试在 Alpine 容器上安装 td-agent。

我可以安装流利的：

如果我尝试这样做，它会失败：

我的问题是我可以用 gem 安装 td-agent 吗？如果不能，如何将它安装在 Alpine 容器上？