问题标签 [fluentd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
logging - Fluentd 无法在每小时整点时将缓冲区文件上传到 s3
大家好：我使用fluentd收集我的日志，这些日志是由我的python程序生成的，所以使用forward作为源参数。但是每小时每小时生成的文件会留在fluentd运行的机器上，有时会累积一些无法上传s3的文件。当我重新启动fluentd时，除了每小时生成的这些文件之外，这些文件都会继续上传到s3，那很好，但是我该如何处理这些未上传的文件呢？google了，没找到好的方法，谁能帮帮我，谢谢！
=================更新如果可能我想处理文件累积的问题，为什么他们不上传到s3，我使用AWS的EC2和S3相同区域和相同的 VPC。
fluentd - fluentd 写入日志文件的时间是多少
这是一条 fluentd 写入我在 hdfs 中的日志的记录：
第一个字段是来自 Fluentd 的时间键，但我不知道是记录存储在缓冲区中的时间还是写入日志文件的时间？
你能帮我回答这个问题吗？
谢谢 ！
编辑：这是我的配置：
environment-variables - 您可以在配置文件中使用 fluentd 的环境变量吗
我想知道如何在 Fluentd 配置中使用环境变量，我试过：
但它不起作用，你知道吗？
log4j - Fluentd 读取多行的码头日志
我试图阅读码头日志的多行，对于来源现在有人怎么做？
有了这个，我无法获得所有线路的消息。
json - 修改fluentd json输出
我们如何使用 fluentd( 和 plugins ) 像这样轻松转换
对此：
谢谢
logging - 从系统风格的客户那里收集日志
我正在尝试安全地获取日志。在公共领域中有一些机器我需要从中获取日志（windows / linux 风格），我打算使用像 Flume / FluentD 这样的框架。
知道这是否以安全的方式可行吗？
timezone - 如何配置 Fluentd 的时区？
我的系统时间是：Tue Jan 6 09:44:49 CST 2015
td-agent.conf ：
dir的时间是对的！
但是log的时间不对，不知道为什么？
apache-kafka - 如何将日志文件从多个 Windows 服务器传输到中央服务器？
我有一个连续生成日志的 Tableau 服务器（Windows 平台）。我想将它流式传输到 apache spark 进行一些实时分析。我查看了以下解决方案，但似乎没有一个满足要求。
1) 使用 nxlog 代理。这是不可扩展的，因为将来日志可能来自多个 tableau 服务器。
2) fluented , flume 与 windows 不兼容。
3) Kafka 是毫无疑问的，因为它不跟踪日志文件。
什么是此类问题的可扩展解决方案？主要限制是 Tableau Server 在 Windows 上运行，
elasticsearch - fluentd 丢失毫秒，现在日志消息在 elasticsearch 中乱序存储
我正在使用 fluentd 在 elasticsearch 中集中日志消息并使用 kibana 查看它们。当我查看日志消息时，同一秒内发生的消息是乱序的，@timestamp 中的毫秒数全为零
如何流利地存储毫秒？
amazon-s3 - 更新后 td-agent 不工作
在 Amazon Linux 上进行 yum 更新后，Td-agent 不工作。
Td-agent 1.1.20-0 工作，但 1.1.21-0 不工作，s3 中没有日志数据。
错误信息是
和 td-agent.conf（整个配置）如下所示：
请告诉我如何解决