问题标签 [aws-kinesis]

我正在尝试bisectBatchOnFunctionError=true在 Kinesis 流之上的 AWS UI 上进行配置。

我没有看到任何与此相关的复选框。

有人可以帮我怎么做吗？

I'm trying to configure bisectBatchOnFunctionError=true at AWS UI on top of Kinesis stream.

Can someone help me how can I do it?

我正在使用 Gstreamer 将视频流式传输到 AWS kinesis 视频流，我能够从网络摄像头流式传输视频，但我的问题是如何使用多个摄像头流式传输计算机视觉应用程序？

我们应该使用任何其他插件吗？

我一直在尝试使用 dot net framework c# 来扇出消费者，就像 AwS kinesis 提供的 Java 扇出示例一样。我的 Java 代码运行良好，但是在尝试模仿 c# 中的步骤时，我发现 c# aws kinesis sdk 中没有 susbscribetoshard 命令。在 C# 中实现扇出消费者的任何代码示例？

当我将图像上传到 s3 存储桶并调用 AWS Rekognition detect_labels 时，我正在获取检测到的标签的字典，如下所示

{'Labels': [{'Name': 'Plant', 'Confidence': 99.70314025878906, 'Instances': [], 'Parents': []}, {'Name': 'Flower', 'Confidence': 98.37027740478516 ，'实例'：[]，'父母'：[{'名称'：'工厂'}]}

但是在这里我需要返回带有识别对象的边界框的图像，如何实现？

我正在尝试设置对 kinesis firehose 的模拟服务调用。我正在从 moto 导入 mock_firehose 并将其引用为 @mock_firehose。在测试方法中，我使用 boto3 创建了一个客户端。

我已导出要使用的 AWS_PROFILE 并检查了凭据是否正确。我遇到的错误是：

显然，虚拟账户 123456789012 是针对模拟 AWS 服务运行测试的默认测试账户。我不确定是否需要为测试帐户创建一个流，但这是有道理的。如果我注释掉 boto3.client 行并且在方法上方仅使用 @mock_firehose 似乎会失败。是否有我缺少的设置步骤要求我在调用@mock_firehose 之前初始化流？

我正在尝试按照 AWS 文档中提供的 Java 示例创建增强型扇出使用者的 .NET C# 版本。我很难将以下 Java 版本转换为 .NET 版本。任何人都可以帮助我使用 C# 中的等效代码吗？

我在 ap-southeast-1 上设置了 AWS Kinesis Firehose（传输流）。Redshift 和 S3 也在 ap-southeast-1 上设置。我使用 Kinesis Firehose 允许 Redshift 显示 S3 存储桶。代码：

COPY firehosetransactions FROM 's3://firehoseredshift-switt/<manifest>' CREDENTIALS 'aws_iam_role=arn:aws:iam::<aws-account-id>:role/<role-name>' MANIFEST json 's3://firehoseredshift/jsonpaths.json';

但是，在 Redshift 中，该区域显示为 ap-southeast-1c。据我了解，它仍在同一区域，但目标错误日志显示“Redshift.IncorrectBucketRegion”。

Redshift attempted to use a bucket in a different region from the cluster. Please specify a bucket within the same region as the cluster. ERROR: Problem reading manifest file - S3ServiceException:The S3 bucket addressed by the query is in a different region from this cluster.,Status 301,Error PermanentRedirect Detail: ----------------------------------------------- error: Problem reading manifest file - S3ServiceException:The S3 bucket addressed by the query is in a different region from this cluster.,Status 301,Error PermanentRedirect,Rid

有什么建议可以解决这个问题吗？谢谢

我刚开始学习将 AWS 的 golang sdk 用于 kinesis 数据流。在 Suzuken 的帖子之后，我创建了一个脚本来从 aws 中的数据流中获取记录，其生产者是 cloudwatch 日志：

我以为我会得到手动输入到 cloudwatch 日志中的内容，例如“test1”、“test2”或“testtest”，但我得到了一堆数字：

我从另一篇文章中看到，我可以在数据之前使用 []byte，但它仍然不起作用。

有人可以帮我吗？

- - 更新 - -

哦！难怪！我遵循的教程实际上有解组字节切片的行但是当我使用以下代码时：

它返回以下消息，甚至不是错误：

如何解决这个无效问题？

- - 更新 - -

我验证了 aws cli 正在工作，我可以在使用 base64 解码后看到输出，如下所示：

echo -n "H4sIAAAAAAAAADWPPU8DMQyG/0vmDrETO063kzg6MV03VKGjRFVQ70NJCkJV/zuGwujHfmy/VzOlWsdT2n+tyWzNQ7fvXp76Yeh2vdmY5XNORbFEx0hIHIQUn5fTriyXVTvv4zHdydBKGqc/BMrq5bUeS15bXubHfG6pVLN9vhuHX6X/SHP7gVeT39R0zCwRKDITIlmnhY8iICTOktgQfLCCEAEV+8BkGQD1WMsapI2T/gTsPUawbNHR5j+grm86QeZ2uH0DFU6ZLPYAAAA=" | base64 -d | zcat

但是，当我运行 go 源代码时，我仍然收到相同的2022/02/07 23:00:03 无效字符 '\x1f' 寻找值消息的开头。

这是我运行的完整代码：

有人可以帮忙吗？

我有一个数据库托管在我公司的本地数据中心（源）和另一个云托管数据库（AWS RDS Postgres 在线数据存储）

本地数据库（on-prem）每天更新一次（每 1-2 小时），如何确保在本地源数据库中发生更改/更新时立即将新数据移动到 RDS 数据库（我们一旦源数据库中发生更改，则需要此更新的数据以在 RDS 数据库上运行特定的流程/业务逻辑）。

AWS DMS 或 AWS Kinesis 是否足以满足此用例？