问题标签 [azure-eventhub-capture]

我正在使用启用了自动膨胀的 Azure 事件中心，并且最大吞吐量选择为 10。最小吞吐量单位为 1。如果入口流量增加，自动膨胀将扩大吞吐量单位。因此，如果事件中心的入口流量下降，那么 Auto Inflate 是否会缩减吞吐量单位？请确认。

大家好，

我需要从 Azure EventHub 读取流数据并将其转储到 blob 位置。根据成本优化，我不能更喜欢流分析或 Spark 流。我只能使用 Spark 批处理作业，我需要探索如何从 Azure EventHub 作为批处理读取数据（最好是前一天的数据）并将其转储到 blob。我的 Azure EventHub 保存 4 天的数据，我需要确保每次从 Azure EventHub 读取数据时都应避免重复。

我计划每天使用spark从azure event-hub读取一次数据，有没有一种方法可以在每次读取数据时保持一些顺序以避免重复。

任何帮助将不胜感激。

我只想从 Azure 事件中心读取一次事件，以便该事件只处理一次。但是在读取这些事件时，在所有分区中都会得到相同的事件。

Tech Stack - Spring boot 通过以下方式读取事件

谢谢。

向 EventProcessorHost 的实例注册事件处理器类会启动事件处理。主机实例在事件中心的某些分区上获得租约，可能会从其他主机实例中窃取一些租约，以一种在所有主机实例上均匀分布的方式收敛。对于每个租用的分区，主机实例创建所提供事件处理器类的实例，然后从该分区接收事件并将它们传递给事件处理器实例。

EventProcessorHost 中有两个错误通知系统。与特定分区相关的错误通知（例如接收器失败）通过 onError 方法传递给该分区的事件处理器实例。与特定分区无关的错误通知（例如初始化失败）将传递给通过 EventProcessorOptions 对象指定的通用通知处理程序。您不需要提供这样的通知处理程序，但如果您不提供，那么您可能不知道发生了某些错误。

@RestController 公共类 ReceiveEventsController {

private static final Logger logger = LoggerFactory.getLogger(ReceiveEventsController.class);

}

我是火花结构流和天蓝色事件中心的新手，并编写了如下代码：

我无法获取 val 数据变量中的数据，也无法将其写入 azure 数据湖。我可以在日志中看到 writestream 正在内存中创建表，Body但在输出中没有任何内容。有人能告诉我我做错了什么吗？

我正在尝试使用 Azure APIM 创建概念证明，但遇到 400 无效主机名错误。

我试过按照这个例子

https://docs.microsoft.com/en-gb/azure/api-management/api-management-howto-log-event-hubs

这导致我到这个页面

https://docs.microsoft.com/en-us/rest/api/apimanagement/2019-12-01/logger/createorupdate

我在邮递员中有带有以下网址的 put 命令，编辑了个人详细信息

https://management.azure.com/subscriptions/xxxxx-yyyy-zzz-a4ed-b0b5ddddddd/resourceGroups/xx-Trial/providers/Microsoft.ApiManagement/service/xxx-API-Management-Services/loggers/loggerId?api-版本=2019-12-01

这是作为 PUT 命令发送的

这也是被发送的身体

返回的响应是

如果有人能帮助我向前迈进，我将不胜感激，因为我看不到我错过了什么。

谢谢

我已经阅读了多篇文章，这些文章描述了如何使用事件中心“捕获功能”将消息保留超过 7 天，使用 Blob 存储或数据湖；但是没有人说如果要将偏移量向后倒回超过 7 天，是否可以将这些消息重播给消费者。

我是否应该假设 Capture 功能声明有点“开玩笑”，实际上它是一个导出功能，不与 Event Hub 的本机瞬态存储集成或扩展？

谢谢

-约翰

我在 azure apim 中创建了一个诊断设置并将日志发送到事件中心。

但现在的要求是我只需要将错误日志从 azure api 管理传递到事件中心。当前设置将所有成功和失败日志传递到事件中心。

有没有办法在将日志发送到事件中心或仅记录错误之前过滤日志。

我们正在尝试将事件中心 (EH) 数据（每分钟约 200MB 和 50k 条消息）集成到 SQL 数据仓库 (DW) 暂存区。

到目前为止，我们已尝试通过使用 Azure 函数 (AF) 直接读取 EH 数据并将其输出到 Synapse 来解决此问题，但我们已达到 DW 的最大并发打开会话数（< DWU500c 为 512）。我们还尝试增加从 EH 读取的maxBatchSize，以减少 DW 端所需的会话，但这似乎使 AF 非常不稳定。

今天我在 Microsoft 文档中找到了本教程，该教程通过使用 EH 捕获功能和事件网格 (EG) 在写入 Blob 文件时触发 AF 将 EH 与 AF 分离。那么我是否正确地假设这应该会大大减少 DW 中的最大并发打开会话，因为我们谈论的是更大的批量大小，当 AF 读取捕获的 Blob 文件时，其大小可达 500MB？

一种解决方案和另一种解决方案之间有哪些优势？您还有其他最佳实践来实现这一目标吗？

提前谢谢！

我有几个连接到事件中心实例的应用程序（消费者）实例。我想知道连接了多少应用程序。我在 Azure 门户上没有找到这个选项。有消费观众吗？