问题标签 [azure-eventhub-capture]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
694 浏览

azure - 子代码=40000。数据湖文件夹路径

尝试使用 Datalake Store 配置事件中心捕获时,我在 Azure 门户中收到以下错误。

子代码=40000。数据湖文件夹路径。+ 一些跟踪号码 guid 和相关性 guid。

在此处输入图像描述

有谁知道这个错误是什么意思?

我认为它与 DataLakeFolderPath 有关,但不知道 40000 的 SubCode 是什么意思。

0 投票
0 回答
122 浏览

azure - EventProcessorHost 未在 web api 中侦听 azure 服务器

我已经使用 EventProcessorHost 来监听天蓝色的事件中心。我在带有事件中心配置的 RegisterEventProcessorAsync 类中创建了一个异步方法。并在我的 Startup.cs 类中使用此异步方法。它在本地运行良好,但在 Azure 上部署时却无法运行。这是我注册事件中心和 startup.cs 类的方法。

0 投票
0 回答
108 浏览

c - 事件中心 azure-C 中的示例-接收器不工作-显示超时

我是 azure 事件中心的初学者。我已经尝试过来自 github 的示例 C 示例

我已成功发送消息,但收到它显示错误。

我在事件中心命名空间中添加了带有事件中心的 sharedaccesskey 和 RootManageSharedAccessKey。但两者都有同样的问题。

请任何人帮助我解决这个问题。提前致谢

0 投票
0 回答
106 浏览

azure - Eventhub Capture 将文件放在错误的位置

我有一个启用了捕获到数据湖的 eventthub。文件模式是:

它将数据放到:

它应该创建 *.avro 文件。为什么会这样?这是什么.avro.temp

0 投票
1 回答
837 浏览

azure - 使用 azure 事件中心触发函数批量接收事件中心事件的可能性

我将 2000 个入口事件作为批处理发送到事件中心。我希望通过 azure 函数 [evnt hub 触发函数] 来消耗出口。

是否有可能在 azure 事件中心触发的函数中批量发送事件中心事件?

或者它将运行事件中心的每个事件?

没有。的处决会产生成本,所以只看到更少的处决。

提前致谢!

0 投票
1 回答
1835 浏览

azure - 事件中心侦听器 - 一次性获取所有消息

我正在测试一个事件中心。开发人员正在将消息推送到事件中心。我已经构建了一个事件中心侦听器来检查所有消息是否正确发送/接收。这是我使用的设计:

https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-dotnet-framework-getstarted-receive-eph

我遇到的问题是事件中心上有大约 400 万个事件,并且 ProcessEventsAsync 方法似乎被调用了 4 或 5 次,然后停止被调用。

有没有一种方法可以让我只请求在最后 X 分钟内添加的消息?

0 投票
1 回答
335 浏览

azure - 事件网格“Microsoft.EventHub.CaptureFileCreated”事件未发布到 Azure 函数订阅

我正在尝试开发一个 Azure 函数来处理由事件中心的捕获功能创建的 blob。但是,虽然捕获 blob 已正确存储在容器中,但似乎没有将任何Microsoft.EventHub.CaptureFileCreated事件发布到 Function 订阅。函数端点的事件订阅已创建且没有错误,Azure CLI 的输出为

该函数的主体是一个标准的 Http 触发器,其中包含事件网格端点订阅所需的额外验证部分

作为一个实验,如果我为另一种类型的事件(fi blob 创建事件)添加相同的函数端点,我可以在日志中看到函数调用。此外,在事件订阅的 Metrics 刀片中,似乎从未向订阅者发布任何事件

空订阅发布指标

此外,将捕获事件的订阅添加到逻辑应用程序或存储队列导致发布的事件为零,与 webhook 触发器一样。还值得注意的是,这不适用于 Azure 函数(v1 和 v2)的两个运行时环境,甚至在使用特定EventGridTrigger属性而不是通用 Http 触发器时也是如此;但是,其他事件类型正确发布事件并触发该功能。

为了参考可能的复制步骤,我从这个 Microsoft 教程中获得了灵感,跳过了 SQL Server/Data Warehouse 部分。在寻找其他有类似问题的人时,我发现这个问题似乎与我的情况有关,但没有明确的答案或线索可能是什么问题。一定是缺少了什么,但我不知道接下来要尝试什么。

0 投票
2 回答
1034 浏览

azure - 如何使用连接字符串的 Key Vault 机密绑定 Azure Functions 中的事件中心?

我为EventHubTrigger. 这是基本代码:

这是我的 local.settings.json 文件:

在部署此应用程序时,它可以在机器或 Azure 上正常运行。这里必须将 EventHubConnectionString 粘贴到 json 文件中。

有没有办法使用 MSI 身份验证从 KeyVault 机密中获取该值,并且它应该自动用于实例化EventHubTrigger实例中的 Run 方法参数?

我知道如何在函数范围内获取机密,KeyVaultClient但这里的函数触发run方法本身需要连接字符串,因此我需要一种方法来使用 KeyVault 机密覆盖它。

0 投票
2 回答
2271 浏览

azure-eventhub - 事件中心是否旨在用于事件溯源/仅附加日志架构

事件中心不允许您存储超过 7(可能长达 30)天的消息。Azure 建议的具有这些限制的 PaaS 事件溯源架构是什么?如果是事件中心 + 快照,如果我们需要以某种方式重建该状态会发生什么?另外,Event Hub 是对 KSQL/Spark Azure 流分析的回答吗?

0 投票
2 回答
4435 浏览

python - 使用 python 处理事件中心数据

我正在使用 azure 事件中心 python SDK 在此链接之后向事件中心发送和接收消息。https://github.com/Azure/azure-event-hubs-python/tree/develop。我可以成功发送和接收消息。但是我如何解析消息并从事件数据对象中检索数据。请在下面找到代码。

如果我尝试查看收到的 event_data,我可以看到以下消息。event_data <azure.eventhub.common.EventData at 0xd4f1358> event_data.message

以上关于如何解析此消息以提取数据的任何帮助