问题标签 [azure-eventhub-capture]

只是想了解以下架构的观点：

1. 设备到 IotHub 到 Eventhub 到事件网格到端点
2. 设备到 IoThub 到第二个 EventHub 到同一个 EventGrid(1) 到 Endpoint(1)
3. 设备到 IoThub(FileUpload)，EventGrid 和 BlobStorage（IotHub 上传文件的地方）作为事件处理程序，端点与 1 和 2 相同。

此外，如果有办法将多个事件网格（订阅）关联到同一个事件中心（过滤事件（基于发送的事件消息））。

我正在执行一项任务，我正在使用 pyspark/python 从事件中心读取事件。当我有多个消费者组时，我会收到重复的消息，这是一种行为。例如：我有 2 个消费者组（CG）和 2 个事件。CG1 消耗 event1 并且当这个过程开启时，第二个事件被触发然后 CG2 将消耗这很好但是现在在 CG1 在 event1 消耗之后它的消耗 event2 之后我们想要避免。即使检查点可用，它也会失败。这是默认行为吗？

我正在向 Azure 事件中心发送一条消息，但收到的消息在标头值的开头包含“�$”。代码：

在 azure hub 事件中心接收到的消息在标题下接收到的值为“�$mock”

我正在尝试向 Eventhub 发送通知，以前我使用的是https://www.nuget.org/packages/Microsoft.Azure.EventHubs/包，现在我正在使用https://www.nuget.org /packages/Azure.Messaging.EventHubs。这是我正在使用的代码。它工作正常，但我不知道如何在发送消息时传递分区键eventData.PartitionKey = partitionKey; 属性是只读属性。

我们计划将事件中心用于物联网设备数据流和处理。我们已经为架构做好了准备，但我们看到的唯一挑战是故障重新处理。下面是例子，

1. IoT 设备将数据发送（通过 IoT 中心）到事件中心。事件中心读取器正在将数据推送到数据库。
2. 如果我们的处理器以某种方式出现故障（不是针对所有遥测数据，而是针对故障数据），我们希望单独捕获这些事件。
3. 事件中心具有设置检查点的能力，但这将标记整个事件中心事件，而不是针对特定事件。
4. 我们只想记录在处理过程中失败的事件，并希望为此类事件实现重新处理逻辑。

有同样的想法吗？

我正在尝试加入从 EventHub 产生相同数据输出的 2 个 Streaming Source。我试图每 5 分钟找到股票的最高开盘价，并试图将其写入表格。我对股票最大的 5 分钟窗口内的时间和窗口时间感兴趣。我使用了下面提到的查询，但它没有产生任何相同的输出。我想我搞砸了加入条件。

我可以使用 Nuget 包Azure.Messaging.EventHubs将事件作为批处理发送到事件中心。但我想使用 REST API。我可以使用 Postman 使用 REST API将单个事件发送到事件中心。但是根据文档，如果我需要在 REST API 中发送批处理事件，我需要添加标头Content-Type:application/vnd.microsoft.servicebus.json，并且消息应该包含在“正文”中，例如[{"Body":"Message1"},{"Body":"Message2"},{"Body":"Message3"}]

因此，如果我需要将 json 作为事件发送，那么我应该创建一个 json 字符串并发送它吗？

样本：

或者是否有任何其他选项可以使用 REST API 将事件作为批处理发送到事件中心。

大家好。

我编写了 Python 函数来处理传入 EventHub 的 JSON 事件。这些事件是由 Debezium 生成的，这部分工作正常。从 Visual Studio Code 本地执行时，我的 python 代码也可以正常工作。当我将（使用 VSC）部署到 Azure Function App 时，问题就开始了。似乎传入事件不会触发函数应用程序执行。

我究竟做错了什么？

我的功能代码：

函数.json

在 Azure 门户上启用触发器

我们进行了架构更改，现在每个流式消息平均重复 5 次。像另外 5 条消息一样很多，并且正在影响性能。

• 在我们直接连接到第三方事件中心的捕获 blob 存储之前（该事件中心有 32 个分区）。
• 现在我们有一个连接到第三方事件中心的天蓝色函数。这个天蓝色的功能正在我们的事件中心推送消息。我们正在使用来自我们的事件中心的捕获。我们的事件中心只有 3 个分区（我们遵循 microsoft 建议的分区号）

我知道重复和事件中心重复的主题已被广泛讨论（请参阅下面的链接）。而且我仍然对我得到的重复数量感到困惑。是否期望在 中，每条消息平均可以重复 5 次？

我们的吞吐量单位是 1 ，自动膨胀 3。分区号是 3。

功能代码如下：

分享以下事件中心指标：

和功能指标：

我们还观察到我想分享的第二个意外行为（也许我应该问另一个问题）。

以前，在旧架构中，我们从来没有为每个发票主键使用相同的 EnqueuedTimeUtc。现在有了新的架构，使用该功能，它一直在发生。这是一个问题，因为我们使用 EnqueudTimeUtc 进行重复数据删除。是因为我们以某种方式批量处理消息吗？是不是因为我们的分区数少了？

任何建议、观察、专业知识将不胜感激！

https://docs.microsoft.com/en-us/azure/azure-functions/functions-reliable-event-processing
带有事件中心触发器的 Azure 函数写入重复消息
Azure Functions 事件中心触发器绑定
https://github.com/ Azure/azure-event-hubs-dotnet/issues/358

我们的应用架构如下：

第三方事件中心 ==> 我们的天蓝色函数 ==> 我们的事件中心 ==> 我们的事件中心捕获。

问题是我们经常收到重复的消息，而且我们在数据中没有任何主键。

我可以在线阅读Service Bus Sessions 可以避免这个重复的问题。

Azure 服务总线现在支持会话，因此除了下面列出的事件中心之外，您还可以使用服务总线队列和主题按顺序进行队列处理。服务总线会话提供了单独而不是批量重新处理故障的额外好处。虽然事件中心可以保证如下所示的顺序，但如果丢失分区锁，则按顺序批处理可能会在另一个实例中恢复，从而导致重复。如果这是一个问题，请考虑使用服务总线会话。两者都提供至少一次交付保证。

一般来说，我是 Azure 和流式云架构的新手。

我的问题如下：

• 服务总线会话可以插入我们当前的架构吗？
• 或者它是我们活动中心的一项竞争服务？

我不确定我们现在是否准备好放弃我们的活动中心，因为我们刚刚投入了资源来实施它。