问题标签 [u-sql]

我正在尝试运行从 Visual Studio 中成功运行的作业。我想在我的 ADF 管道中运行它，但作业因语法错误而失败。

编辑：我用 USE DATABASE 语句都试过了，我把它注释掉了，如上所示；### 在任何一种情况下都出现在完全相同的位置。EDIT2：添加来自@michael-rys 的每个请求的连续代码行稍后在脚本中，参数@outSlice 用于输出语句，如

该参数在管道活动中确定。片段如下：

我有 Azure 数据湖分析作业，它使用 U-SQL 用户定义的运算符处理存储在 Azure 数据湖存储中的大约 380 万条记录。

在第一次运行时，我将并行度设置为 10，而在第二次运行时，我使用了并行度等于 1。令人惊讶的是，我两次执行的工作持续时间是相同的（大约 1.5 小时）。所以看起来我的工作没有触发并行性。是因为我使用了用户定义的运算符吗？我想知道如何确定何时触发并行性以及何时不触发？

我有一个 U-SQL 脚本，它在 Azure 存储中生成一个 CSV 文件，并在 Azure SQL 数据仓库 (SDW) 中生成一个外部表，使用 PolyBase 读取该 CSV 文件。

使用 U-SQL 脚本生成 CSV 文件时，SDW 无法读取数据并抛出异常：

Msg 110802, Level 16, State 1, Line 152 110802;发生内部 DMS 错误导致此操作失败。详细信息：异常：Microsoft.SqlServer.DataWarehouse.DataMovement.Common.ExternalAccess.HdfsAccessException，消息：调用 HdfsBridge_RecordReaderFillBuffer 时引发 Java 异常：访问外部文件时发生错误 [无法检索 Java 异常。] [/csv/2015-02- 13/所有.csv][0]。

但是，如果我将该 CSV 文件下载到本地驱动器并按原样将其上传到具有完全相同文件名的完全相同的位置，则 SDW 可以毫无问题地对其运行查询。

有任何想法吗？

现在我们在 Azure Data Lake Store 中有数据，现在正在使用带有 U-SQL 的 Azure 数据分析作业处理那里的数据。现在我们有一个需求，我们需要根据存在的列值将数据推送到不同的输出文件夹中。

假设一旦我们处理数据并且我们有如下输出

身份证 | 姓名 | 公司

1 Midhun测试

2 Midhun2 测试2

所以我想将第一个记录移动到名为“test”\result.tsv 的输出文件夹，第二个移动到输出文件夹到“test2”\result.tsv

我能在 U-SQL 中做到这一点吗？我没有找到任何关于 U-SQL 的好的参考文档。有知道的可以分享一下链接吗。

谁能指导我用 Azure Data Lake 中使用的 U-SQL 语言编写下面的 SQL

我在 U-SQL 中找不到 DATEPART 函数。Azure 数据分析作业给了我错误。

我试图按照本指南使用 Azure Data Lake 分析从 Azure SQL 数据库中检索数据。我在 Azure Data Lake 分析上运行 U-SQL 作业并收到以下错误：

无法连接到数据源：“SampleSource”，出现错误：“无法打开服务器”登录请求。不允许 IP 地址为“25.66.9.211”的客户端访问服务器。要启用访问，请使用 Windows Azure 管理门户或在 master 数据库上运行 sp_set_firewall_rule 来为此 IP 地址或地址范围创建防火墙规则。此更改最多可能需要五分钟才能生效。

在运行我的工作几次后，我观察到需要在服务器中添加的 IP 范围非常宽。看来我们需要添加 25.66.xxx.xxx。我有两个问题：

1. 我们如何缩小这个范围？
2. 为什么允许所有 Azure 服务访问的典型设置不起作用？

我一直在使用示例 XMLExtractor（从https://github.com/Azure/usql/tree/master/Examples/DataFormats克隆）从我的 xml 元素中提取属性。

如果根元素具有任何已定义的属性，则提取器将无法工作。

例如，我需要从以下 XML 文件中获取“rec”元素的“sTime”属性：

使用以下 U-SQL 脚本：

这将写入一个空文件。但是，如果我删除“lics”标签的属性，它就可以工作。

这是提取器的问题吗？或者这需要在提取器的任何参数中定义吗？

我找到了使用 EXTRACT FROM 从 Azure Data Lake Storage 或 Azure Storage Blob 以及 SQL、Azure SQL 数据库或 Azure Data Warehouse 在数据源位置中使用外部表查询文件的文档。但是，我找不到任何有关 Azure 表存储的内容。

我们有以原始形式访问的表存储中的数据，加上对这些数据执行聚合的要求，Azure Data Lake Analytics 似乎是理想的，但我不热衷于必须通过 Data Lake存储/Azure 存储 Blob 中间平面文件。

有没有办法直接从 Azure 表存储中查询数据？

When I run a U SQL script from portal/visual studio it follows stages like preparing,queued,running,finalizing. What exactly happens behind the scenes in all these stages?Will there be any execution time difference when the job is run from visual studio/portal in dev and production environment? We need to clock the speeds and record the time the script would take in production.Ultimately, the goal is to run these scripts as Data Factory activities in production.

我有一个在 U-SQL 中使用的 Web 日志文件，其查询类似于：

但有时，UserAgent 包含以下内容：-

这总是意味着脚本认为该行有四列而不是三列..

任何人都有任何好主意我该如何处理这个问题..我不确定是否有可能逃脱该字符或在提取时以某种方式忽略它？