问题标签 [u-sql]

想知道是否有人对使用 U-SQL 实现 case 或 IF 语句有建议。例如，我如何转换这个：

是否可以动态添加分区而不是固定到特定的静态数据。例如，如果我们需要为来自不同 CSV 记录的所有日期创建分区。

我想通过活动/管道的“参数”属性将管道的切片开始/结束时间属性传递给 U-SQL 活动。

目的是根据切片开始的日期生成动态文件名，并安排每天运行的过程并处理该日期的文件。

那可行吗？

我一直在 Azure Data Lake 上运行 U-SQL 作业来更新分区表并且它们运行成功，但在“Finalizing”阶段失败并出现错误“JM_FinalMetadataOperationUserError”，堆栈跟踪如下：

错误消息指出：

什么会导致这个问题？是因为从表中添加/截断的值吗？

将不胜感激。

我正在尝试为 U-SQL 编写一个自定义输出器，该输出器根据一列中的数据将行写入单个文件。例如，如果列的日期为“2016-01-01”，它将将该行写入具有该名称的文件，并将下一行写入具有同一列中值的文件。

我的目标是通过在输出器中使用 Data Lake Store SDK 来做到这一点，它创建一个客户端并使用 SDK 函数写入单个文件。

这是一个可行且可能的解决方案吗？

我已经看到要为输出器覆盖的功能是

其中 IUnstructuredWriter 被强制转换为 StreamWriter（我看到了一个这样的例子），所以我假设这个 IUnstructuredWriter 是由 U-SQL 脚本传递给这个函数的。所以这不会让我对这里传递的内容进行任何控制，而且它对于所有行都将保持不变并且不能改变。

I'm trying to extract some data from a CSV file using the following U-SQL EXTRACT statement:

But my job is failing halfway through because there is a row that doesn't fit this schema (common in huge datasets) because it has the wrong number of columns. How do I avoid that this fails the entire extract?

我正在尝试使用以下内容从 U-SQL 中的一组文件中提取数据：

但 U-SQL 似乎不喜欢“*”。你如何使用 U-SQL 进行通配符？

我还没有找到在 U-SQL 中使用 Reducers 的任何文档或示例。

Reducer 与 Applier 有何不同，因为从函数签名来看，它们都一次接收一行。

我的用例在以下问题中： Azure Data Lake Analytics：使用 U-SQL 组合重叠持续时间

我已经用 Applier 实现了这个功能。

对于这个用例，reducer 如何更有用？

在编写 u-sql 查询以获取前 n 个百分比的行时需要帮助。我有一个数据集，需要从中获取总行数，并从基于 col1 的数据集中获取前 3% 的行。我写的代码是：

@telData 是我的基本数据集。感谢您的帮助。

我有一个扩展类的自定义 USql 应用程序IApplier。

然后将此应用程序从 Usql 脚本用作

我已经能够为应用程序的解耦部分编写单元测试/ATP。

如何为Apply方法的 C# 代码和依赖于输入/输出的自定义逻辑编写测试？如何使用已定义的输入和输出自动测试 usql 脚本，从而不需要数据湖帐户？