问题标签 [azure-data-lake]

在编写 u-sql 查询以获取前 n 个百分比的行时需要帮助。我有一个数据集，需要从中获取总行数，并从基于 col1 的数据集中获取前 3% 的行。我写的代码是：

@telData 是我的基本数据集。感谢您的帮助。

我有一个带有 HD Insight 管道的数据工厂管道，它正在尝试访问 Azure 数据湖目录。

运行此管道时出现以下错误：

这在使用以下规范访问 Azure Blob 存储的管道中运行良好：

任何帮助，将不胜感激。js

我有一个扩展类的自定义 USql 应用程序IApplier。

然后将此应用程序从 Usql 脚本用作

我已经能够为应用程序的解耦部分编写单元测试/ATP。

如何为Apply方法的 C# 代码和依赖于输入/输出的自定义逻辑编写测试？如何使用已定义的输入和输出自动测试 usql 脚本，从而不需要数据湖帐户？

除了添加/截断分区之外，有没有办法避免在 U-SQL 表中添加重复记录。让我们假设两个记录只有唯一标识符不同。

在 u-sql 查询中，通过 Outputterss.Csv() 函数将数据从一个 csv 文件转储到另一个文件，但带有列名的标题行出现在文件末尾而不是顶部。请在下面找到我的代码。感谢您的帮助。

• 我已经下载并安装了每个Data Lakes MSI
• 我创建了一个控制台应用程序并安装了所需的包
• 我也可以访问 Azure 中的数据湖（尽管我不会向您展示）

我错过了什么吗？

杜德，我的标签在哪里？

它应该看起来像这样......对吗？

与我们从 ADLA 创建和使用表时相比，插入/查询到本地 U-SQL 表非常快。我们能够在大约 8 分钟内将数据从 CSV 插入到本地的三个表中，而无需使用任何并行性，并且在 ADLA 上以 10 的并行度执行相同的作业大约需要 10 分钟（不设置并行度作业需要更长的时间）。我们能达到同样的性能吗？

将数据插入 U-SQL 表需要太多时间。我们正在使用分区表来重新计算先前处理的数据。在具有 11、5 和 1 分区且并行度设置为 10 的三个表上，第一次插入花费了将近 10-12 分钟。第二次插入相同数据花费了将近 4 个小时。目前我们正在使用基于年份的分区。我们在不添加分区的情况下测试了插入和查询，性能要好得多。这是分区表的问题吗？

在编写 u-sql 查询时，我正在使用 Order by 子句 FETCH 子句是必须使用的，但如果不想从行集中获取有限数量的行但我应该写什么。感谢帮助

我正在尝试使用数据工厂将表从存储帐户传输到数据湖。微软声称可以“将任意大小和格式的文件存储到数据湖中”。我使用在线向导并尝试创建管道。管道被创建，但我总是收到一条错误消息：

复制活动遇到用户错误：ErrorCode=UserErrorTabularCopyBehaviorNotSupported,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=如果源是表格数据源则不支持 CopyBehavior 属性。,Source=Microsoft.DataTransfer.ClientLibrary,'。

有什么建议可以使用数据工厂将数据从存储帐户表传输到数据湖吗？

谢谢。