问题标签 [amazon-kinesis-agent]

我已经在 Ubuntu 14.04 上安装了代理...之前工作正常，但后来突然停止，现在启动时出现以下错误

我正在使用 Amazon Kinesis 代理来跟踪我的 nginx Web 访问日志，以便将访问日志推送到 Kinesis - 最终在 Kinesis Analytics 中使用。

代理正在运行并跟踪我的访问日志，然后将记录推送到 Kinesis。我可以看到到达 Kinesis 的记录，因此连接良好。

我遇到的问题与格式化程序选项有关 - 特别是关于“ LOGTOJSON ”。

以下是 的内容/etc/aws-kinesis/agent.json：

这是我用来以 apache 组合日志格式输出日志的 nginx 配置部分：

以下是 nginx 访问日志的几行输出：

这是 Kinesis 代理的输出。您可以看到记录正在“解析”但没有“转换”。

Kinesis Analytics 将传入数据检测为 CSV 流而不是 JSON 流。当我在 AWS 控制台中查看原始流内容时，它看起来像这样：

所以看起来代理正在发送每条记录而没有任何类型的转换，并用逗号分隔每一行。

我看不出我在哪里出错了。nginx 访问日志看起来是以正确的格式编写的，但 Kinesis 代理不会将其转换为 JSON - 原因不明。

任何指针将不胜感激。

我的输入文件是 XML 或 JSON，我需要帮助来确定如何配置代理来处理这些文件？因此，它是一条多行记录，每个输入文件有 1 个 XML/JSON 对象。无需预处理

作为这些多行记录，如何最好地为这两种格式配置代理？

是需要设置的“multiLineStartPattern”参数吗？就像说它是一个'{'作为JSON的左大括号一样简单吗？

干杯

我设法通过 kinesis-agent 和 firehose 将我的 Apache access_log (httpd / amazon-linux-ami 2016.09 / php5.6) 发送到 elasticsearch。

现在我正在努力转发error_log。

我的agent.json：

来自的示例行/var/log/httpd/error_log：

正如我所说，所有 access_logs 都正确转发。但是没有错误日志被发送到目的地。见下文/var/log/aws-kinesis-agent/aws-kinesis-agent.log：

xxx是我的消防水带目的地（两者都相同）。

对我来说，我的 apache 错误日志（默认格式，我没有更改任何内容）似乎符合 APACHEERRORLOG 预期的格式。

我在这里想念什么？非常感谢一些指点，非常感谢！

我正在使用 Kinesis firehose 将数据处理为红移，并且我正在尝试 Json 和 Csv 格式。

Json 格式对我来说很好，数据正在加载到红移表中。

用于 JSON 的复制命令：

复制 products_json FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST json 'auto';

放置记录的 CLI 命令：

aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1,\"productname\":\"phone\",\"productprice\":\" 2.30\"}"'

但是，当我使用 CSV 时，数据存在于 S3 中，但未加载到 redshift 中。

用于 CSV 的复制命令：

复制 products_csv FROM 's3://foldername/' CREDENTIALS 'aws_iam_role=arn:aws:iam:::role/' MANIFEST csv ;

放置 CSV 记录的 CLI 命令：

aws firehose put-record --delivery-stream-name csvtoredshiftstream --record='Data="1,Phone,2.30"'

记录正在处理到 S3，但未加载到 redshift。STL_LOAD_ERRORS 表也没有任何记录。

如果我遗漏了什么，请告诉我。

谢谢。

我正在寻找一个使用 putrecordbatch 将多条记录发送到 kinesis 流的示例。

我目前正在通过以下方式使用 putrecord 命令将记录发送到 kinesis 流。

aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1,\"productname\":\"phone\",\"productprice\":\" 2.30\"}"'

以类似的方式请求帮助以编写 putrecordbatch。

谢谢和问候， Srivignesh KN

I have built a Kinesis Firehose stream to push data into redshift and am trying to push data from an EC2 instance using kinesis agent.

Firehose Stream is able to parse the records but not identify the firehose streams am getting the following java error.

Regards, Srivignesh KN

我正在尝试运行一个过去几个月一直有效的 dockerfile，从昨天开始，在同一产品的新版本上使用它时，它开始出现错误。

这是我的码头文件：

RUN yum install -y https://s3.amazonaws.com/streaming-data-agent/aws-kinesis-agent-latest.amzn1.noarch.rpm它在命令上失败。

这是我的错误输出：

连续有很多镜子失败，404

我试图yum makecache fast在 kinesis install 前面添加错误提示，但这没有帮助

https://access.redhat.com/articles/1320623链接需要有效的redhat 订阅，因此也无济于事。使用完全相同的 dockerfile 的先前版本仍然有效，但它们正在使用缓存。

有人有什么主意吗？

我正在尝试使用 kinesis 代理将以下数据发送到 aws kinesis firehose：3985199||"ER1AA"|"2017"|"BMC PUBLIC HEALTH"|"17"||"2017-04-09-00.53.55.353280 -0400" |0|"1471-2458"|"13941J"|"C ,CC,D ,ES,JS,Q ,XC"|"A"|"N"|"APR 4 17"

我想使用 15 个不同的自定义字段来存储这些字段，包括空值和不带双引号。

提前致谢。

每天都会创建新的日志文件，并在名称中附加日期。例如，“data_log-2017-05-14”日志文件是为 5 月 14 日创建的。

我需要设置 Kinesis Agent 以从生成的日志中读取数据。但是由于每天都会创建一个新的日志文件，那么在 agent.json 文件中如何处理呢？

对此有何建议？