问题标签 [adx]

我尝试将 azure function app 中的数据提取到 ADX 数据库中。我按照此处文章中的说明进行操作。

不同的是，我想将数据插入表中。我遇到了 403 错误“Principal 'aadapp=;' 无权访问表”

我做了什么：我创建了一个具有以下 API 权限的 AAD 应用程序： AAD 应用程序配置权限

我通过 Kusto Explorer 配置了数据库：

.add 数据库 myDB 摄取器 ('aadapp=;') 'theAADAppname'

.add table PressureRecords ingestors ('aadapp=;') 'theAADAppname'

.add table TemperatureRecords ingestors ('aadapp=;') 'theAADAppname'

我的代码：

我花了很多时间手动优化低级整数运算，并取得了一些成功。例如，我的 6x6 乘法子程序花费了 66 个滴答声，而mpn_mul_basecase(6,6)在 Skylake 上花费了 82 个滴答声。我的代码发布在Github上。

我目前正在为 AMD Ryzen 开发 8x8 乘法。我正在使用 Ryzen 7 3800X 进行基准测试。我努力避免延迟。我研究过 Agner Fog 的“指令表”以及 Torbjörn Granlund 的“指令延迟……”。没有任何迹象表明 Ryzen 上的 adox/adcx 存在重大问题；Ryzen 和 Skylake 在 adox/adcx 上应该没有太大区别。我使用 mulx 和 adcq、adox 或 adcx 之一对乘法 8x1 子程序进行了基准测试；该子程序的所有三个变体在 Skylake 和 Ryzen 上都运行得很快（18-19 滴答声）。

但是，当我尝试将 adox 和 adcx 混合在一起时，我的代码在 Ryzen 上运行速度非常慢。例如，我的 8x2 乘法子例程在 Skylake i7-6700 上花费了 34 个滴答声，在 Ryzen 7 3800X 上花费了 293 个滴答声（8 倍差）。

有什么建议为什么 mulx/adox/adcx 代码在 Ryzen 上的执行速度要慢 8 倍？

我在 Azure Data Lake Gen 2 中有一个简单的文件夹树，它按日期分区，具有以下标准文件夹结构：{yyyy}/{MM}/{dd}。例如 /Container/folder1/sub_folder/2020/11/01

在每个叶子文件夹中，我有一些列数很少但没有时间戳的 CSV 文件（因为日期已经嵌入在文件夹名称中）。

我正在尝试创建一个包含日期虚拟列的 ADX 外部表，然后按日期查询 ADX 中的数据（这通常是 Hive 和大数据中众所周知的模式）。

不幸的是，查询表失败，并且显示工件返回一个空列表。

除了以下例外：

如文档中所述，我尝试遵循多种类型的路径格式和 datetime_pattern，但没有任何效果。

有任何想法吗？

我按以下顺序列出了员工姓名和薪水

我需要以以下格式创建输出表。即，每当累计工资总额超过 3000 时，我必须检测到并标记该行。

我试图做 row_cumsum 并在Term超过 3000 后重置它，但它不适用于第二次迭代。

根据这篇 Microsoft 文章，我正在尝试将 JSON 数组数据（特别是“对象”数组）摄取到 Azure 数据资源管理器中。（仅 JSON 数组部分）

https://docs.microsoft.com/en-us/azure/data-explorer/ingest-json-formats?tabs=kusto-query-language&source=docs#ingest-json-records-containing-arrays

我的 JSON 数据与示例不同，因为它在 JSON 中有一个附加层，当将原始事件行扩展到第二个表时，输入的行是空白的。我假设该函数无法使用 kusto 函数找到“对象”？

我的 JSON 数据示例如下：

我需要第二个 mv-expand 来扩展数据两次吗？

我正在处理 ADX 上的一个大数据集，我需要在其中解开数据行并将它们转换为列。数据中的uniqueID由三个字段组合而成：组、时间戳和名称。

一组的预期输出（结果可以有或没有组列——因为总是应用组过滤器）

尝试运行以下查询（基于），但这不会按预期取消堆叠列。这以与上述相同的格式返回数据。

我在 dev ADX 环境中有几个功能。现在我需要将它们全部迁移到上层环境中。是否有任何方便的命令可以将所有可用功能从一个环境导出到另一个环境。.show functions运行命令后，我尝试将所有函数导出为 csv 。但找不到任何方法将此 csv 文件导入另一个环境。

我绝对爱上了 ADX 时间序列功能；使用 Python 处理大量传感器数据。以下是我的案例的要求：

1. 以不同频率处理传感器数据标签——将它们全部设为 1 秒频率（如果以毫秒为单位，则在 1 秒间隔内聚合）
2. 将堆叠数据转换为未堆叠数据。
3. 在 unstack 之后，通过时间戳加入另一个具有多个“字符串标签”的数据集。
4. 在某些列上进行线性插值，并向前填充其他列（总共大约 10-12）。

我认为通过以下查询，我已经完成了前三个；但无法series_fill_linear直接在列上使用。文档说这个函数需要一个dynamic类型作为输入。错误消息很有帮助： series_fill_linear(): argument #1 was not of an expected data type: dynamic

是否可以series_fill_linear在我已经使用的地方应用pack而不是pack再次使用。如何通过标签有选择地应用此功能；并使我的整体查询更具可读性？需要注意的是，只有sensor_datatable 需要series_fill_linearand series_fill_forward; label_data只需要series_fill_forward.

项目清单

编辑：我最终使用extendwithcase来处理不同的插值情况。

// let forward_tags = dynamic({"tags": ["tag2","tag4"]}); 无法在查询中将其用作“forward_tags.tags”

我想知道是否可以在查询/fxn 内部KQL传递一个list of strings以使用，如下所示。我已经评论了我认为list of strings可以传递 a 以使代码更具可读性的地方。

现在，我只需要fill_forward标签列（MY_LABEL_1, MY_LABEL_2）；这是以下查询的结果。我希望将代码添加到主查询中，最终结果是包含所有列的表；这是基于我的案例结果的示例表。

我在 ADF 管道中添加了“Azure 数据资源管理器命令”，但它不接受命令表达式中的动态参数。

例如：第 1 步：添加了 Azure 数据资源管理器命令

第二步：添加两个参数

第 3 步：在命令窗口中添加动态表达式

第 4 步：添加带参数的 Kusto 函数

不知道为什么，但上面的动态参数表达式不起作用。

我有大量数据从 Eventhub 流向 Azure 数据资源管理器。目前我们还没有对批处理策略进行任何修改，所以它是每 5 分钟调度一次。但是我们需要将其降低到一个较小的值，以便减少端到端的延迟。

如何计算此设置的理想批处理时间。是否有基于 ADX 的 CPU 和 Eventhub 上的数据摄取的任何计算，以便我可以在不影响 ADX 的 CPU 使用率的情况下找出一个理想的时间