我有一个实时生成 XML 的数据源。在使用 kinesis 代理检查 Kinesis Firehose 集成以对此 XML 进行实时分析时,我发现 Kinesis 代理将源文件中的每一行视为一条记录。例如,Kinesis 在给定的示例 XML 中找到 6 条记录
<note>
<to>Tove</to>
<from>Jani</from>
<heading>Reminder</heading>
<body>Don't forget me this weekend!</body>
</note>
现在,如果我必须使用 lambda 对输入 XML 执行数据转换。由于 kinesis 代理忽略了 XML 的结构,我该怎么做?
这是要参考的 Kinesis 代理日志:
2020-07-08 02:38:03.955+0000 (FileTailer[fh:POCKinesis:/var/log/cadabra_xml/*.xml].MetricsEmitter RUNNING) com.amazon.kinesis.streaming.agent.tailing.FileTailer [INFO] FileTailer[fh:POCKinesis:/var/log/cadabra_xml/*.xml]: Tailer Progress: Tailer has parsed 6 records (236 bytes), transformed 0 records, skipped 0 records, and has successfully sent 6 records to destination.
2020-07-08 02:38:03.957+0000 (Agent.MetricsEmitter RUNNING) com.amazon.kinesis.streaming.agent.Agent [INFO] Agent: Progress: 6 records parsed (236 bytes), and 6 records sent successfully to destinations. Uptime: 870056ms