问题标签 [u-sql]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
3079 浏览

u-sql - 将行集变量转换为标量值

是否可以将行集变量转换为标量值,例如。

0 投票
1 回答
1128 浏览

azure-data-lake - 如何设置文件过期时间

在 Cosmos SCOPE 脚本中,我们可以使用以下代码设置流/文件到期日期:

U-SQL 中的等效语法是什么?

0 投票
1 回答
457 浏览

azure-data-lake - 来自平面文件和 SQL 的内部联接行集

我有如下所示的 TSV 文件。

我有一个如下所示的 USQL 表。

我正在尝试加入行集并尝试为每个公司获取 Company_Type。

脚本:

在执行上述脚本时,我收到以下错误。

错误:

0 投票
2 回答
187 浏览

.net - SDK更新后U-SQL脚本无法编译

更新 Azure SDK 和 Data Lake Tools for Visual Studio (2.2.2) 后,我的 Data Lake Analytics (U-SQL) 脚本停止编译。

微软的示例仍然编译成功,所以我的项目一定有问题吗?

错误输出:

找不到错误元数据文件'C:\Program Files %28x86%29\Reference Assemblies\Microsoft\Framework.NETFramework\v4.6\Facades\mscorlib.dll'
MyScript.usql.cs 0

找不到错误元数据文件'C:\Program Files %28x86%29\Reference Assemblies\Microsoft\Framework.NETFramework\v4.6\Facades\System.Collections.Concurrent.dll' MyScript.usql.cs 0

通往外墙的路径似乎很奇怪,但我不知道如何解决这个问题。

0 投票
2 回答
2245 浏览

azure - USQL Azure 数据湖中的更新

有什么方法可以更新行集中的值

数据:

USQL 脚本:

现在我想更新上面的结果集 @result set type =1 其中 value 是 apple

我试过下面的脚本。

但我得到以下错误:

无论如何我可以更新行集的值,或者我应该找出任何其他解决方法。

0 投票
3 回答
2504 浏览

azure-data-lake - 如何使用 U-SQL 将处理后的文件移动到另一个目录?

我正在编写一个 U-SQL 查询,该查询从存储在目录(例如 A)中的文件(例如 query.txt)中提取信息。现在,我想在处理完文件 query.txt 并将一些结果集输出到不同目录中的其他文件后,将文件 query.txt 移动到另一个目录(比如已处理)。完成 U-SQL 作业后,如何将源文件(query.txt)移动到Processed目录?

0 投票
2 回答
157 浏览

azure - Azure 数据湖分析上的 E_RUNTIME_SYSTEM_ERROR

我正在对 Azure Data Lake Analytics 进行一些基准测试。在执行阶段 Combine_partition 运行查询后,出现错误:

ERROR E_RUNTIME_SYSTEM_ERROR MESSAGE 已报告系统错误 [VirtualAlloc 返回 0]

它看起来像内存不足异常。任何想法?

错误

0 投票
2 回答
163 浏览

azure-data-lake - 来自 Alias 的 U-SQL 智能感知

如果我在 U-SQL 中使用别名,智能感知不会提示我输入任何内容。例如,

在这种情况下,智能感知将起作用。但在下面的例子中它不会。

除了简单的查询之外,这在执行任何操作时都会产生问题。有谁知道解决这个问题?

0 投票
2 回答
3011 浏览

azure-data-lake - 在 USQL 中编写自定义提取器以跳过有编码问题的行

我有一大组跨越几百个文件的数据。显然,它有一些编码问题(主要是 UTF-8,但显然有些字符是无效的)。根据https://msdn.microsoft.com/en-us/library/azure/mt764098.aspx如果存在编码错误,无论将静默标志设置为 true 都会发生运行时错误(目的只是跳过错误行)。

因此,我需要编写一个自定义提取器。我在https://blogs.msdn.microsoft.com/data_otaku/2016/10/27/a-fixed-width-extractor-for-azure-data-lake写了一个主要是简化版本的示例-analytics/因为它只需要一行,用分隔符分割它,然后只返回 try 块中的值。如果有任何异常,我只是处理它们并继续前进。

不幸的是,我在 USQL 脚本本身中实际引用此提取器时遇到了问题。当我按照上述链接上的指导进行操作时,它建议在另一个程序集中编写逻辑,构建它,将其注册到 ADLS 数据库/程序集中,然后通过REFERENCE ASSEMBLY MyExtractors;脚本顶部将其包含在内(因为这是使用的命名空间)。在下面的 Using 语句中,我将其调用为USING new SimpleExtractor();If I do so, I get a error when running the script against ADLS service that the type or namespace cannot be found. 此外,如果我尝试更精确并USING new MyExtractors.SimpleExtractor();在 using 语句中使用,它会产生相同的错误,引用上面的 USING 语句。

然后,我在https://azure.microsoft.com/en-us/documentation/articles/data-lake-analytics-u-sql-develop-user-defined-operators/的旧源中找到了其他文档,其中描述了执行同样的事情,但在代码隐藏文件中。我删除了单独的程序集并将逻辑复制到该文件中的一个类中。第 6 步中的示例没有显示任何REFERENCE ASSEMBLY语句,但同样,当我运行它时,我收到一个错误,即type or namespace name cannot be found.

查看最新的发行说明,希望这里有些东西已经过时了,我唯一看到的是,如果我使用USING语句,我需要在实际之前引用自定义代码的程序集(如第一次尝试)使用它,我就是。

谁能提供一些关于如何在 USQL 中正确引用 UDO 的指导,或者指出如何让运行时静默处理编码异常(并跳过它们)?

这是我的逻辑在提取器本身中的样子:

以及我如何在 USQL 语句中使用它的片段(在将其注册为程序集之后):

谢谢!

0 投票
3 回答
832 浏览

c# - 在 USQL 中处理具有不同列的文件

我有一个 USQL 脚本和 CSV 提取器来加载我的文件。但是有些月份文件可能包含 4 列,有些月份可能包含 5 列。

如果我使用 4 或 5 个字段的列列表设置我的提取器,我会收到有关文件预期宽度的错误。去检查定界符等。不足为奇。

鉴于 USQL 仍处于新手阶段并且缺少一些基本的错误处理,请解决此问题的方法是什么?

我尝试在提取器中使用静默子句来忽略更宽的列,这对于 4 列很方便。然后使用 IF 条件获取行集的行数,然后具有 5 列的提取器。然而,这会导致行集变量在 IF 表达式中不被用作标量变量。

我还尝试了 C# 样式计数和 sizeof(@AttemptExtractWith4Cols)。都不工作。

代码片段让您了解我正在采用的方法:

当然,如果 USQL 中有TRY CATCH块这样的东西,这会容易得多。

这甚至是一个合理的方法吗?

任何投入将不胜感激。

感谢您的时间。