问题标签 [azure-data-lake]

我有一个使用 Camel(java) 的项目。我正在从一个来源检索数据并将其发送到一个端点（使用 .to() ）。我还需要将它发送到 Azure DataLake。我该怎么办。我没有看到 DataLake 的任何骆驼组件。我必须制作自己的组件吗？

我正在使用 azure 数据湖工厂创建管道。Pipeline 有一个数据湖分析 U-SQL 活动。这曾经工作正常，但停止工作，说明我需要刷新凭证令牌。

当我再次自动化并部署时，我收到错误消息“配置失败。内部服务器错误。请求 ID：....”。

}

我尝试重新启动浏览器会话，创建新服务仍然失败。

还有什么我想念的吗？

是否可以动态添加分区而不是固定到特定的静态数据。例如，如果我们需要为来自不同 CSV 记录的所有日期创建分区。

我想通过活动/管道的“参数”属性将管道的切片开始/结束时间属性传递给 U-SQL 活动。

目的是根据切片开始的日期生成动态文件名，并安排每天运行的过程并处理该日期的文件。

那可行吗？

当我启动Visual Studio Professional 2015 Update 2并打开我的vb.net项目时，Data Lake主菜单栏中不存在项目。但它稍后会在开发工作期间出现。到目前为止，我没有注意到它出现在哪个特定动作上。您是否已经注意到哪个动作使Data Lake永久可见？

我想让它隐藏起来，因为它会导致键盘快捷键冲突：它的Alt+D已经是打开菜单的成熟方式Debug（在同一个菜单栏上）。

我一直在 Azure Data Lake 上运行 U-SQL 作业来更新分区表并且它们运行成功，但在“Finalizing”阶段失败并出现错误“JM_FinalMetadataOperationUserError”，堆栈跟踪如下：

错误消息指出：

什么会导致这个问题？是因为从表中添加/截断的值吗？

将不胜感激。

我正在尝试为 U-SQL 编写一个自定义输出器，该输出器根据一列中的数据将行写入单个文件。例如，如果列的日期为“2016-01-01”，它将将该行写入具有该名称的文件，并将下一行写入具有同一列中值的文件。

我的目标是通过在输出器中使用 Data Lake Store SDK 来做到这一点，它创建一个客户端并使用 SDK 函数写入单个文件。

这是一个可行且可能的解决方案吗？

我已经看到要为输出器覆盖的功能是

其中 IUnstructuredWriter 被强制转换为 StreamWriter（我看到了一个这样的例子），所以我假设这个 IUnstructuredWriter 是由 U-SQL 脚本传递给这个函数的。所以这不会让我对这里传递的内容进行任何控制，而且它对于所有行都将保持不变并且不能改变。

I'm trying to extract some data from a CSV file using the following U-SQL EXTRACT statement:

But my job is failing halfway through because there is a row that doesn't fit this schema (common in huge datasets) because it has the wrong number of columns. How do I avoid that this fails the entire extract?

我正在尝试使用以下内容从 U-SQL 中的一组文件中提取数据：

但 U-SQL 似乎不喜欢“*”。你如何使用 U-SQL 进行通配符？

我还没有找到在 U-SQL 中使用 Reducers 的任何文档或示例。

Reducer 与 Applier 有何不同，因为从函数签名来看，它们都一次接收一行。

我的用例在以下问题中： Azure Data Lake Analytics：使用 U-SQL 组合重叠持续时间

我已经用 Applier 实现了这个功能。

对于这个用例，reducer 如何更有用？