0

是否可以在本地安装 HDInsight 服务器时使用 Hadoop SDK，尤其是 LINQ to Hive。请注意，我指的不是 Azure 上托管的 HDInsight 服务。

我尝试使用 Microsoft.Hadoop.Hive Nuget 包中的 LINQ to Hive，但无法使其正常工作，因为 LINQ to Hive 似乎要求将结果存储在 Azure Blob 存储中，而不是存储在我的托管实例中。

var hiveConnection = new HiveConnection(new Uri("http://hadoop-poc.cloudapp.net:50111"), "hadoop", "hgfhdfgh", "hadoop", "hadooppartner", "StorageKey");
var metaData = hiveConnection.GetMetaData().Result;
var result = hiveConnection.ExecuteQuery(@"select * from customer limit 1");

即使使用存储密钥，我也无法使其工作，因为 MapReduce 作业失败并显示：

AzureException: org.apache.hadoop.fs.azure.AzureException: Container a7e3aa39-75ba-4cc2-a8aa-301257018146 in account hadooppartner not found, and we can't create  it using anoynomous credentials.

我还再次将凭据添加到core-site.xml文件中，如下所示：

<property>
   <name>fs.azure.account.key.hadooppartner.blob.core.windows.net</name>
   <value>Credentials</value>
</property>

但是，如果可能的话，我宁愿摆脱在 Azure 存储上存储结果。

谢谢您的帮助！

4

2 回答 2

1

您可以使用不带存储帐户选项的 HiveConnection 构造函数连接到本地安装。这适用于在本地框中默认安装 HDInsights 开发人员预览：

var db = new HiveConnection(
            webHCatUri: new Uri("http://localhost:50111"),
            userName: (string) "hadoop", password: (string) null);
var result = db.ExecuteHiveQuery("select * from w3c");

当然，您也可以将该连接用于任何 LINQ 查询。

于 2013-08-08T13:47:09.453 回答
1

事实证明，在HiveConnection构造函数中，您必须指定完整的存储帐户名称，即hadooppartner.blob.core.windows.net.

我仍然有兴趣在不需要存储帐户的情况下使用 .NET LINQ API。此外，是否可以将 .NET API 与其他 Hadoop 发行版一起使用？

于 2013-07-04T06:11:10.163 回答