azure - azure数据工厂中存储表的动态选择

Question

我有一组现有的天蓝色存储表，每个客户端一个，用于在多租户云系统中保存事件。

例如，可能有 3 个表来保存登录信息：

ClientASignins ClientBSignins ClientCSignins

有没有办法动态循环这些作为复制操作的一部分或像 Pig 脚本一样？

还是有其他方法可以达到这个结果？

非常感谢！

Answer 1

如果您在其他位置（如 Azure 存储）跟踪这些表，则可以使用 PowerShell 循环遍历它们并在每个位置上创建一个配置单元表。例如：

foreach($t in $tableList) {
    $hiveQuery = "CREATE EXTERNAL TABLE $t(IntValue int)
 STORED BY 'com.microsoft.hadoop.azure.hive.AzureTableHiveStorageHandler'
 TBLPROPERTIES(
  ""azure.table.name""=""$($t.tableName)"",
  ""azure.table.account.uri""=""http://$storageAccount.table.core.windows.net"",
  ""azure.table.storage.key""=""$((Get-AzureStorageKey $storageAccount).Primary)"");"
Out-File -FilePath .\HiveCreateTable.q -InputObject $hiveQuery -Encoding ascii
$hiveQueryBlob = Set-AzureStorageBlobContent -File .\HiveCreateTable.q -Blob "queries/HiveCreateTable.q" `
  -Container $clusterContainer.Name -Force
$createTableJobDefinition = New-AzureHDInsightHiveJobDefinition -QueryFile /queries/HiveCreateTable.q
$job = Start-AzureHDInsightJob -JobDefinition $createTableJobDefinition -Cluster $cluster.Name
Wait-AzureHDInsightJob -Job $job
#INSERT YOUR OPERATIONS FOR EACH TABLE HERE
}

研究：http: //blogs.msdn.com/b/mostlytrue/archive/2014/04/04/analyzing-azure-table-storage-data-with-hdinsight.aspx

如何使用 Powershell 管理 Azure Table？

Answer 2

最后，我选择了几个用 c# 编写的 Azure 数据工厂自定义活动，现在我的工作流程是：

1. 自定义活动：将当前切片的数据聚合到单个 blob 文件中，以便在 Pig 中进行分析。
2. HDInsight：使用 Pig 进行分析
3. 自定义活动：将数据分散到从 blob 存储到表存储的目标表数组中。

我这样做是为了使管道尽可能简单，并消除对管道/脚本的任何重复的需要。

参考：

在 Azure 数据工厂管道中使用自定义活动

HttpDataDownloader 示例