azure - Azure 数据湖分析上的 E_RUNTIME_SYSTEM_ERROR

Question

我正在对 Azure Data Lake Analytics 进行一些基准测试。在执行阶段 Combine_partition 运行查询后，出现错误：

ERROR E_RUNTIME_SYSTEM_ERROR MESSAGE 已报告系统错误 [VirtualAlloc 返回 0]

它看起来像内存不足异常。任何想法？

错误

Answer 1

这看起来您的连接可能已接收到太多数据并且用完顶点获得的 6GB 内存。

建议是通过为该联接制定更好的分配策略（例如，避免在一个存储桶太大的情况下出现数据倾斜）、使用为您提供更好规模的不同操作或添加一些数据提示来更好地分配数据或操作这会“诱使”优化器做出更好的分区决策。

Answer 2

问题解决了。

Vertex 内存不足，因此我更改了查询，在相同的数据和分区上使用 WINDOWING 函数消除了 GROUP BY。

寻求帮助。