问题标签 [u-sql]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
354 浏览

unit-testing - 管理多个文件中的 U-SQL 脚本并将其作为单个作业运行

我们编写了一个大的 U-SQL 脚本,它由多个相互依赖的代码单元组成。它可以作为单个 U-SQL 作业运行。顺便说一句,我们将此作业作为 Azure 数据工厂活动运行。

我们希望将此脚本分成多个 U-SQL 脚本,每个脚本都包含一个单元,以便更好地维护和测试。这样,我们将能够对脚本的单个单元进行单元测试。但如果我们这样做,我们将面临另一个问题。在多个脚本的情况下,我们必须在部署数据工厂管道之前将所有这些脚本组合成一个脚本。

有没有办法管理多个文件中的 U-SQL 脚本并将其作为 Azure 数据工厂中的单个作业提交?

0 投票
1 回答
254 浏览

powershell - 无法在 PowerShell 门户中提交数据分析作业

为什么我不能通过 Aure Web 门户在 PowerShell Runbook 中运行 Submit-AzureRmDataLakeAnalyticsJob cmdlet?我收到以下错误消息:

Submit-AzureRmDataLakeAnalyticsJob :术语“Submit-AzureRmDataLakeAnalyticsJob”未被识别为 cmdlet、函数、脚本文件或可运行程序的名称。检查名称的拼写,或者如果包含路径,请验证路径是否正确并重试。

我能够在 PowerShell ISE 中无错误地运行此命令。

这种类型的命令不能在运行手册或其他东西中运行吗?也许我只是不了解 PowerShell

0 投票
0 回答
403 浏览

powershell - Azure 自动化错误:对象引用未设置为对象的实例

我正在尝试按计划使用 Azure 自动化提交 U-SQL 作业。但是,当我使用该Submit-AzureRmDataLakeAnalyticsJob命令时,出现以下错误:

Submit-AzureRmDataLakeAnalyticsJob : Object reference not set to an instance of an object

我可以使用 运行脚本PowerShell,它会间歇性地工作,但偶尔会出现相同的错误。在 Azure 自动化中是否有解决此错误的方法?

编辑:完整的声明是:(Submit-AzureRmDataLakeAnalyticsJob -Account "****" -Name "SecondJob" -Script $usqlScript出于隐私考虑,我已将帐户名称加注星标)。$usqlScript 变量包含一个有效的 U-SQL 脚本,该脚本在通过 Azure 门户提交时运行完成。

0 投票
1 回答
346 浏览

azure-sql-database - USQL 的 ODBC/JDBC 连接详细信息

我们正在使用 Microsoft Azure USQL 进行数据库测试。谁能提供 USQL 的 ODBC/JDBC 连接详细信息?

0 投票
2 回答
575 浏览

c# - 使用 U-SQL 读取带有加密内容的 json 文件

将此程序集用作 json 提取器,并且一切正常。我输入的 json 文件现在只是普通的 json。我想要做的是读入带有加密内容的文件。

所以在提取器中我想使用我的 C# 方法来解密一个字符串,但是我不知道如何使它工作,因为我没有在任何地方得到一个字符串。这是提取方法。

这是我的解密方法

谁能指出我正确的方向?谢谢!

0 投票
1 回答
2579 浏览

u-sql - 如何在 U-SQL EXTRACT 中使用自定义 DateTime 格式?

是否可以提供自定义 DateTime 格式字符串作为 EXTRACT 语句的一部分?(默认好像是mm/dd/yyyy,我的数据是dd/mm/yyyy)

或者我们是否将初始行集加载为字符串,然后将其转换为 DateTime

例如,这似乎有效(尽管本地运行时间在 > 1 个输入文件时变得慢得多)

0 投票
1 回答
176 浏览

azure-data-lake - U-SQL 脚本在本地环境中重复执行时的运行时错误

我们有一个简单的 U-SQL 迁移脚本:

  1. 从我们的 ADL 数据库中的临时表中选择数据
  2. 截断临时表
  3. 将内容插入 ADL 中的持久表

当我们在为临时表运行加载脚本后运行此脚本时,脚本成功运行并插入数据。但是,如果我再次运行相同的迁移脚本,则会收到以下错误:

"diagnosticCode":195887168,"severity":"Error","component":"RUNTIME","source":"System","errorId":"E_RUNTIME_SYSTEM_INTERNALISSUE","message":"已报告内部错误 [断言失败:'partitionDimension < vertexIndices.size()' at ScopeEngine::GetPartitionIndex(1020),]"

最后,如果我再次运行加载脚本,然后运行迁移脚本,一切都会恢复正常。任何人都可以提供有关可能出现问题的更多信息吗?

0 投票
2 回答
1197 浏览

json - U-SQL Json Extractor 只提取一条记录

我正在为我正在开发的应用程序测试数据湖。我是 U-SQL 和数据湖的新手,我只是想查询 JSON 文件中的所有记录。现在,它只返回一条记录,我不知道为什么,因为该文件大约有 200 条。

我的代码是:

数据示例:

提前感谢您的帮助

0 投票
3 回答
1726 浏览

u-sql - Guid.NewGuid() 总是为所有行返回相同的 Guid

我从源代码转换的每一行都需要唯一的 guid。
以下是示例脚本;代码 Guid.NewGuid() 总是为所有行返回相同的

0 投票
1 回答
1187 浏览

azure-data-factory - 根据间隔在 Azure 数据工厂管道中配置动态参数数量?

我们的用例需要通过 Azure 数据工厂将可配置的输入传递给 U-SQL 脚本。我们正在评估可行性,并且需要根据活动的时间片间隔自动化传递给 U-SQL 脚本的变量数量。

例如,如果 U-SQL 脚本每 4 小时运行一次,它将需要从 4 个不同的文件中读取数据,每小时一个。如果间隔更改为 5 小时,我们需要自动执行此操作,以便自动读取 5 个不同的文件,而无需更新 U-SQL 脚本。

文件路径格式为:Source\YYYY-MM-DD\hh.csv

数据工厂或数据湖提供的当前设施和功能集是否可以实现这种动态性?或者是否有解决方法,以便数据工厂管道的部署可以自动化?