问题标签 [u-sql]

我有很多数据文件最终会定期推送并存储在 Azure 存储/数据湖上。我想提供对此数据进行分析的能力，但后来我发现在 Azure 上有两种方法：

1. U-SQL / Azure 数据湖查询（可视化？？？）
2. 在 Azure 和 Zeppelin 上使用 Spark 的 Spark SQL

有人可以建议我何时使用这种方法中的哪一种？在我看来，两者都可以完成类似的工作。

我刚刚在 msdn 杂志上阅读了有关 U-SQL 的精彩文章。

U-SQL 是在 microsoft azure 中分析大数据的好工具。

但是，是否可以在非云环境中使用它，例如在本地托管的 SQL Server 中？

我想使用 U-SQL 从放置在 Azure Data Lake Store 中的 CSV 数据中删除重叠的持续时间，然后合并这些行。数据集包含开始时间和结束时间以及每条记录的其他几个属性。这是一个例子：

去除重叠后，输出数据集将如下所示：

请注意，CSV 包含大量数据，并且包含数 GB 的大小。我正在尝试解决这个问题，但没有运气。我想避免为 Azure Data Lake Analytics 作业使用 U-SQL 用户定义的运算符，并从 U-SQL 中寻找一些有效的解决方案。

我正在尝试使用 此链接开发 U-SQL 用户定义的运算符。看起来我们可以使用 UDO 读取一行，对其进行处理并将其写入为一行。

在我的场景中，我必须读取多个连续的行并写入多个连续的行，而使用博客中提供的帮助似乎是不可能的。

在另一种情况下，我必须处理单行并分成多行，然后写入输出。

我想知道是否可以使用 U-SQL UDO 处理多行，或者在 U-SQL 中是否有其他方法可以做到这一点？

我想将数据计数传递给自定义应用程序，但我不确定如何传递它。这是我的示例代码，我在其中计算 @count 中的计数并将其传递给 CsvApplier 构造函数，但它不起作用。有没有办法在 U-SQL 中实现这一点？

请注意，它不起作用，所以我正在寻找

如何在 U-SQL 脚本中使用模式化输入文件？也就是说，如何使用多个文件作为 EXTRACT 子句的输入？

根据

https://msdn.microsoft.com/en-us/library/azure/mt621320.aspx?f=255&MSPPError=-2147217396

和

https://social.msdn.microsoft.com/Forums/en-US/0ad563d8-677c-46e7-bb3e-e1627025f2e9/read-data-from-multiple-files-and-folder-using-usql?forum=AzureDataLake&prof=必需的

我都试过了

和

两个版本都会导致错误消息抱怨“*”是无效字符。

我试图使用 USQL 从 JSON 文件中提取数据。查询成功运行而不产生任何输出数据或导致“顶点失败快速错误”。

JSON 文件如下所示：

我的 U-SQL 脚本是

我收到以下系统错误，

活动中的错误：[{"errorId":"E_SYSTEM_NM_NMCANNOTLAUNCHJM","name":"NM_CANNOT_LAUNCH_JM","severity":"Error","source":"System","component":"NM","message": “由于内部系统错误，作业失败。” ,"details":"","description":"","re​​solution":"","helpLink":"","innerError":null}]。

该错误不是间歇性的。它所做的只是将文件从一个位置复制到另一个位置。它说内部系统错误 - 有什么想法吗？

以下是我的 Usql 脚本，

我是 U-SQL 的新手。我正在尝试做一些基本的查询，但我发现如何处理尖锐的口音存在问题。

当我的数据有尖锐的口音时，我得到一个错误，我不能继续。我是西班牙人，所以我使用的大多数数据都有尖锐的口音。

任何想法？我需要遵循一些特殊的编码协议吗？

我有使用 BCP 从 SQL Server 提取的数据，该文件是 ASCII CSV。
日期采用 2016-03-03T23:00:00 格式。

运行提取时我得到

附加信息：

{"diagnosticCode":195887127,"severity":"Error","component":"RUNTIME","source":"User","errorId":"E_RUNTIME_USER_EXTRACT_COLUMN_CONVERSION_INVALID_ERROR","message":"尝试转换时出现无效字符列数据。","description":"HEX: \"223022\" 转换输入记录时出现无效字符。\n位置：第 1 行，第 21 列。","re​​solution":"检查输入是否有错误或使用 \"silent \" 切换到忽略输入中过大（过小）大小的行。\n考虑忽略 \"invalid\" 行可能会影响作业结果，并且类型必须可以为空才能忽略转换错误。","helpLink": ““，“细节”：”==================================================== ==========================================\nHEX:5432333B35313B34362D323031362E30332E30335432333B30303B30302D302D352D323031362E30332E30335432333B35313B34392F3536372D302D323031362E30332E3033\n ^\ nTEXT:T23:51:46,2016-03-03T23:00:00,0,5,2016-03-03T23:51:49.567,0,2016-03-03\n

您如何在提取时正确处理日期？我不清楚为什么它会在日期时间列的中间分裂。

示例行看起来像

50CA2FBB-95C3-4216-A729-999BE2DB491A,2016-03-03T23:51:49.567,1001464881,1001464795,1001464795,00000000-0000-0000-0000-000000000000,00000000-0000-0000-0000-000000000000,100 ,100 , ,12643,bCAwvRnNVwrKDXKxZkVed2Z1zHY=,o2lsnhueDApmvSbm31mh3aetYnc=,2016-03-03T23:50:46,2016-03-03T23:00:00,2016-03-03T23:51:46,20016-03,-0002: ,5,2016-03-03T23:51:49.567,0,2016-03-03T00:00:00,2016-03-03T23:59:59,00000000-0000-0000-0000-000000000000