azure-sqldw - 是否有系统 DMV 来监控正在加载的文件？

Question

我正在使用 polybase 将文件从 blob 存储加载到 Azure DW。

我通常使用sys.dm_pdw_exec_requestsandsys.dm_pdw_sql_requests查看任何长时间运行的进程在做什么，但是 polybase 负载的信息有限。

是否有一个文件可以显示 Polybase 在目录中找到的文件列表并指示任何类型的进度（可能是已完成的文件或加载的行？）

Answer 1

我们仍在添加围绕 Polybase 监控的功能。

这是一个查询，可帮助您监视正在加载的当前文件的进度。“当前”表示如果数据集中有 1,000 个文件，并且 Polybase 一次处理 10 个文件，则在任何给定时间，此查询只能产生 10 行。

-- To track bytes and files
SELECT
    r.command,
    s.request_id,
    r.status,
    count(distinct input_name) as nbr_files, 
    sum(s.bytes_processed)/1024/1024/1024 as gb_processed
FROM
    sys.dm_pdw_exec_requests r
    inner join sys.dm_pdw_dms_external_work s
        on r.request_id = s.request_id
GROUP BY
   r.command,
    s.request_id,
    r.status
ORDER BY
    nbr_files desc,
    gb_processed desc;

这是一个越来越重要的话题，我创建了一个用户语音任务来注册用户支持。您介意添加您的投票/评论吗？