问题标签 [azure-hdinsight]

我刚开始研究 HDInsight 但它无法正常工作..

当我安装新的 HDInsight 时，它运行良好，但如果我重新启动或重新启动系统，服务器无法识别群集。

消息显示为“您的集群“本地 (hdfs)”没有响应。请单击此处导航到集群。什么也不工作。

我怎么解决这个问题？

我知道 applicationpoolidentity 中的一些问题，所以我厌倦了使用 powershell 更改它，但仍然无法正常工作..

我正在使用 IIS 7.5 在 Win7 Ultimate 上运行它

请帮我

我在 Windows 上使用 Hadoop 的 HDInsight 安装，并尝试将参数传递给猪脚本。我在不同的机器上使用了几个脚本，所以我认为这可能是 Windows 的事情。我已经输入了默认值来检查脚本中的参数是否有效

示例脚本：

从命令行以空运行方式运行以进行测试： pig -r testSub.pig

结果是：

但试图从命令行提供值：

抛出错误：

和日志文件说的一样：

我试过使用“-param”，把东西放在单引号和双引号中，移动顺序，但没有运气。任何想法接下来要尝试什么 - 我需要在 Windows 命令提示符下添加一些奇怪的转义吗？

如何从 Linux 连接到 HDInsight VM？尝试与 rdesktop 连接会给我以下错误。

我一直在尝试从我的 SQL Azure DB 中导入数据，这些数据在 HDInsight 中是公开可用的。两者都是同一订阅的一部分。

我在 HDInsight 命令提示符下触发以下查询： sqoop import --connect "jdbc:sqlserver:// * .database.windows.net;username= * @fyvgwz1l7z;password= * *;database=dbAMBER" --table dummy - -目标目录/数据-m 1

它在提示上不提供任何消息并返回提示。当我浏览位置时，我什么也没找到。我还尝试操纵 sql 服务器地址并放置一些虚拟文本，而不是抛出异常，它仍然没有给我任何消息并返回空白。

有人可以指出我在做什么的问题吗？

我正在尝试学习 HDInsight 和 Hadoop。

追加到 HDFS 中的文件而不是将额外的数据文件复制到 HDFS 中的同一数据文件夹有什么好处？

更清楚的是，从我的单节点机器上，我将数据文件上传到了 HDFS。现在如果我需要向这个文件添加额外的数据，我可以使用“追加”方法，对吧？或者我可以将新的额外文件发送到同一输入文件夹下的 HDFS 吗？这样它将有多个文件作为输入文件。

将额外数据附加到 HDFS 文件有什么缺点吗？正如我所理解的那样，由于数据块是 64 MB 或 128 MB，我只会有一个额外的数据块，对吗？

假设我的第一个输入文件是 75 MB，我将有两个数据块 64 MB 和 11 MB，如果我添加新文件（75 MB）而不附加，那么我将有 4 个大小块：64 MB， 11 MB、64 MB 和 11 MB。如果我使用附加方法，那么我将有 3 个大小块：64 MB、64 MB 和 22 MB。

我理解正确吗？多一个数据块的缺点是不是很大的问题？

我想知道 Azure 表存储是否可以用作 HDInsight 群集上 Map/Reduce 任务的数据源。

显然，数据可以从表存储导出到平面文件中，然后导入 HDInsight，但更好地进行无缝集成。

Hadoop 更常用于从我从互联网上找到的大量数据中查询特定信息。但我想探索 HDFS 以能够取代昂贵的 SAN..？你能提供一些关于这个的信息，或者关于相同的好文章吗？

具体来说，我想更改在 Microsoft Azure 上运行的 HDInsight 群集中每个节点的最大映射器数量和最大减速器数量。

使用远程桌面，我登录到头节点。我编辑了头节点上的 mapred-site.xml 文件并更改了 mapred.tasktracker.map.tasks.maximum 和 mapred.tasktracker.reduce.tasks.maximum 值。我尝试重新启动头节点，但无法重新启动。我使用 start-onebox.cmd 和 stop-onebox.cmd 脚本来尝试启动/停止 HDInsight。

然后我运行了一个流式mapreduce，将所需数量的reducer 传递给hadoop-streaming.jar，但是reducer 的数量仍然受到之前mapred.tasktracker.reduce.tasks.maximum 值的限制。我的大多数减速器都在等待执行。

我是否需要更改每个节点上的 mapred-site.xml 文件？有没有一种简单的方法来改变这个，或者我需要远程桌面到每个节点？如何重新启动或重新启动集群以便使用我的新值？

谢谢

是否可以在本地安装 HDInsight 服务器时使用 Hadoop SDK，尤其是 LINQ to Hive。请注意，我指的不是 Azure 上托管的 HDInsight 服务。

我尝试使用 Microsoft.Hadoop.Hive Nuget 包中的 LINQ to Hive，但无法使其正常工作，因为 LINQ to Hive 似乎要求将结果存储在 Azure Blob 存储中，而不是存储在我的托管实例中。

即使使用存储密钥，我也无法使其工作，因为 MapReduce 作业失败并显示：

我还再次将凭据添加到core-site.xml文件中，如下所示：

但是，如果可能的话，我宁愿摆脱在 Azure 存储上存储结果。

谢谢您的帮助！

有没有办法使用 c# 以编程方式将数据加载到我的本地 HDFS 集群中？

我找到了一个关于使用 SDK 使用 C# 代码将数据加载到 Azure 的教程，但它需要 blob 存储并且不适用于本地集群。任何解决方法？

我知道可以使用 Javascript 控制台或通过 Hadoop 命令行加载数据，但我特别关注通过代码实现这一点。

我浏览了一些论坛，发现 Hive 连接现在要求您拥有一个 azure 存储帐户，无论您是否使用 HDInsight Azure 服务。将数据加载到 HDFS 也是这种情况吗？

任何指针都会有所帮助。

谢谢！