问题标签 [u-sql]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
json - USql 在多维 JSON 数组中调用数据
我在数据湖中有这个 JSON 文件，如下所示：
为了将数据调用到我的应用程序中，我必须使用以下代码将 JSON 转换为字符串：
这会将 JSON 输出到一个可读的 .csv 文件中，当我下载文件时，所有数据都会正确显示。我的问题是当我需要获取配置文件中的数据时。因为 JSON 现在是一个字符串，所以我似乎无法提取任何数据并将其放入变量中以供使用。有没有办法做到这一点？还是我需要研究其他选项来读取数据？
u-sql - U-Sql中的文件存在与异常处理
两个问题
EXTRACT之前如何检查文件是否存在？我们有每天为目录数据生成新输入文件的场景。我们需要将新输入与 d-1 文件合并。在合并之前我们要确保新的输入文件存在于源位置
u-sql 是否支持 try...catch 块？
arrays - 在 U-SQL 中将 JSON 数组元素显示为一行
如何在 U-SQL 中将每个 JSON 数组元素显示为一行中的逗号分隔元素，而不是每行一个元素？
例如，JSON 文件是：
}
为数组 C1 处理这个片段的代码如下：
所有数组元素都打印为每行一个的结果，即所有 D1 到 D7 元素都在不同的行上。我希望 D1 到 D7 元素成为同一行的一部分，因为它是 JSON 对象的一部分。
那是：
1、2、3、4、5、6、7
如何才能做到这一点？
azure-data-lake - 构建 E_CSC_USER_NOTAUTHORIZED 时出错：此语句需要数据库“主”的 USE 权限
我一直在尝试构建我的 U-SQL 脚本，甚至使用了下面的示例：
但是，当我构建它时，我收到以下错误：
E_CSC_USER_NOTAUTHORIZED：此语句需要数据库“master”的 USE 权限
我不知道为什么我有这个。我的另一位同事在构建同一个项目时没有问题。我以前能够建造，但由于某种原因我不能再建造了。
有人知道为什么吗？
谢谢。
azure-data-lake - 使用 U-SQL 删除空列
我有很多文件要尝试合并。我碰巧知道每个文件中的许多列都只包含空值，我可以不用它们。如何编写 U-SQL 语句来从文件中提取数据，检查除了空值之外什么都没有的列并排除它们？
谢谢！
azure - 使用 Azure 数据工厂运行 U-SQL 活动的内存不足异常
我在 Azure 数据工厂中将 U-SQL 活动作为管道的一部分运行定义的时间片。U-SQL 活动运行一系列 U-SQL 脚本，这些脚本读入和处理存储在 Azure Data Lake 中的数据。虽然数据在我的本地运行中成功处理，但在 Azure 数据工厂云环境中运行时会引发系统内存不足异常。
输入数据约为 200MB，这不应该是处理问题，因为之前已经处理过更大的数据集。
假设内存管理可以根据需要进行扩展，在 Azure 云环境中看到内存不足异常令人惊讶，以下是在相同输入数据上运行的两次异常快照，唯一的区别是它们发生的时间。
非常感谢任何帮助，谢谢。
进一步更新：在进一步调查中观察到使用变量skipNRow:1跳过标题行解决了这个问题，我们在片段后面的 u-sql 代码有一个以日期比较为条件的循环，它可能循环没有终止，因为给定片段的标题行列的无效日期时间转换正在处理 DateTime 类型的行列作为输入。理想情况下，这应该会给出一个无效的日期时间格式异常，但我们会看到内存不足异常。
azure - U-sql错误json
我正在尝试从数据湖存储中提取数据，这些数据保存在 json 中。当我尝试提交脚本时，出现错误：
顶点失败触发快速作业中止。顶点失败：SV1_Extract[0] 错误：顶点用户代码错误。
我将添加我使用的： https ://github.com/Azure/usql/tree/master/Examples/DataFormats/Microsoft.Analytics.Samples.Formats
json:
loops - 如何使用 U-SQL 遍历 SELECT 查询的结果以查找行模式
我在变量中有 SELECT 查询的结果，现在我想逐行遍历查询结果以进行一些处理，例如查找特定模式。例如，模式可能如下：
CSV 中 SELECT 查询的结果可能是：
我已经看到有关使用自定义提取器的 PROCESS 语句的一些内容，但这是这样做的方法吗？我不确定这个过程和提取器是如何工作的。
https://msdn.microsoft.com/en-us/library/azure/mt621322.aspx
谢谢你的帮助。
azure-data-lake - U-sql调用json数组中的数据
我浏览了网络和论坛以从文件 json 下载数据，但我的脚本不起作用。我在下载费率对象列表时遇到问题。有人可以帮忙吗？我找不到错。
这是我在 sql 中的脚本。
azure-data-lake - 错误：来自自定义程序集的“无法发出 http 请求”
我的 Data Lake Analytics 作业加载了一个自定义 .NET 程序集，该程序集实现了IExtractor. 例如，当它仅重新排列文本文件中的数据时，此提取器效果很好，但我真正想做的是通过 HTTP 从供应商的远程 API 中提取我的输入数据。所以我修改了我的提取器实现以发出本质上是一个 REST 请求。
当我这样做时，我的分析日志中出现错误“无法发出 http 请求”。我认为 Microsoft 限制您在 Analytics 的自定义程序集中可以做什么和不能做什么是有道理的，但我在文档中没有找到任何直接说明的内容：您不能在自定义程序集中发出 HTTP 请求。
所以我的问题是两个部分：
- Azure Data Lake Analytics 中自定义程序集的限制记录在哪里？
- 如果我发现大量静态输入文件是获取最新数据的不雅方式，有什么更好的方法可以将我的输入数据提取到分析作业中？