1

背景

我在某种程度上简化了这种情况，但这是普遍问题。

我正在使用 Azure 数据工厂将自定义 API 中的数据提取到 Azure 数据仓库中的表中。我正在使用 IDotNetActivity 运行调用 API 并将数据加载到数据仓库的 C# 代码。该活动在 Azure Batch 中运行。

在活动本身中，在调用自定义 API 之前，我从 Azure Blob 存储中的文件加载人员列表。然后，我为文件中的每个人调用自定义 API。这些调用一个接一个地依次进行。问题是这种方法耗时太长。文件大小可能会增加，因此所花费的时间只会变得更糟。

我试图提高性能的事情

  • 使 API 调用异步并以 3 个为一组调用它们。奇怪的是，这运行得更慢。看起来批处理不能很好地处理异步/等待。
  • 我们看到的其他奇怪之处是 MoreLinq 的 Batch 命令根本不起作用。我已经检查了源代码： https ://github.com/morelinq/MoreLINQ/blob/master/MoreLinq/Batch.cs 。这使用了 yield return 但我不知道为什么这不起作用，或者即使它与 async / await 问题有关。

主要问题

Azure Batch 是否支持异步/等待？

进一步的问题

  • 如果 Azure 不支持 async / await 那么解决此问题的更好方法是什么？即使用作业管理器并启动更多节点。

  • 谁能解释一下为什么 MoreLinq 的 Batch 在 Azure Batch 中不起作用？以下是受影响代码的片段：

    List<int> personIds = GetPersonIds(clientAddress, clientUsername, clientPassword);
var customResults = new List<CustomApiResult>();
foreach (var personIdsBatch in personIds.Batch(100))
{
    customResults.AddRange(GetCustomResultsByBatch(address, username, password, personIdsBatch));
}
4

1 回答 1

1

根据我的理解，personIds.Batch(100)只需将批次personIds分成大小（100）个桶。

//method1
foreach (var personIdsBatch in personIds.Batch(100))
{
    customResults.AddRange(GetCustomResultsByBatch(address, username, password, personIdsBatch));
}

//method2
customResults.AddRange(GetCustomResultsByBatch(address, username, password, personIds));

上述两种方法都会按顺序为每个人调用您的自定义 API，同时method1添加了额外的逻辑来处理相同的任务。

Azure Batch 是否支持异步/等待？

根据您的代码，我将IDotNetActivity实现定义如下，您可以参考：

public class MyDotNetActivity : IDotNetActivity
{
    public IDictionary<string, string> Execute(IEnumerable<LinkedService> linkedServices, IEnumerable<Dataset> datasets, Activity activity, IActivityLogger logger)
    {
        return ExecuteAsync(linkedServices, datasets, activity, logger).Result;
    }

    async Task<IDictionary<string, string>> ExecuteAsync(IEnumerable<LinkedService> linkedServices, IEnumerable<Dataset> datasets, Activity activity, IActivityLogger logger)
    {
        List<int> personIds = await GetPersonIds("{clientAddress}", "{clientUsername}", "{clientPassword}");
        var tasks = new List<Task<List<CustomApiResult>>>();
        foreach (var personIdsBatch in personIds.Batch(100))
        {
            tasks.AddRange(GetCustomResultsByBatch("{address}", "{username}", "{password}", "{personIdsBatch}"));
        }

        var taskResults = await Task.WhenAll(tasks);
        List<CustomApiResult> customResults = taskResults.SelectMany(r=>r).ToList();

        //process the custom api results

        return new Dictionary<string, string>();
    }

    async Task<List<CustomApiResult>> GetCustomResultsByBatch(string address, string username, string password, IEnumerable<int> personIdsBatch)
    {
        //Get Custom Results By Batch
        return new List<CustomApiResult>();
    }

    async Task<List<int>> GetPersonIds(string clientAddress, string clientUsername, string clientPassword)
    {
        //load a list of people from a file in Azure Blob storage
        return new List<int>(); 
    }
}

另外，我假设您可以按如下方式利用Parallel.ForEach来并行执行您的同步作业：

List<int> personIds = GetPersonIds(clientAddress, clientUsername, clientPassword);
var customResults = new List<CustomApiResult>();
Parallel.ForEach(personIds.Batch(100), 
new ParallelOptions()
{
    MaxDegreeOfParallelism=5
},
(personIdsBatch) =>
{
    var results = GetCustomResultsByBatch(address, username, password, personIdsBatch);
    lock (customResults)
    {
        customResults.AddRange(results);
    }
});
于 2017-06-23T09:05:19.770 回答