问题标签 [azure-hdinsight]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
877 浏览

c#-4.0 - Azure C#Isotope 上的 Hadoop

在 HadoopOnAzure 的初始版本中,Microsoft 提供了 C#Isotope SDK 作为 Azure 上 Hadoop 集群的编程接口。在 HDInsight 版本之后,这将从下载中删除。此外,在尝试使用以前版本的 sdk 时,我们得到 500 - 内部服务器错误。

知道是否禁用了此服务?如果是这样,以编程方式与 Azure 上的 HDInsight 群集交互的替代方法是什么?

0 投票
1 回答
617 浏览

hadoop - Windows 服务器上的 Hadoop:Windows 服务器的 HDInsight 是否支持在域控制器上运行?

在我的演示机上:我有 Windows Server 2008 R2,它也是域控制器。我通过 Web 平台安装程序为 Windows 服务器安装了 HDInsight,但在 IIS 下没有看到可以管理集群的站点。所以只是想知道域控制器是否不支持 HDInsight?或者我应该检查任何其他配置。谢谢!

0 投票
2 回答
2011 浏览

algorithm - MapReduce 计算对的出现次数

我是 MapReduce 新手,希望您对以下任务的最佳 MapReduce 方法提出意见。

我有一个格式为的大文档

每行都有一个数字列表。我想在任何行中列出每个可能的(对)数字组合。我想要包含每个给定对的行数。

结果会像

文档中有大约 2M 行,大约有 150 万个不同的数字。并且将有大约 2.5G 不同的数字对进行统计。

直截了当的伪代码如下:为文档中的每一行调用映射

但是这种方法需要 2M 的映射器和 2.5G 的减速器。这是一个可行的方法吗?计划在 Azure 上试用 Hadoop。

0 投票
1 回答
754 浏览

hadoop - Microsoft HDInsight 仪表板服务不可用

当我尝试打开 HDInsight 仪表板服务时,它显示“服务不可用 HTTP 错误 503。服务不可用”。本地主机端口号是 8085。

任何帮助,将不胜感激..

0 投票
1 回答
384 浏览

hadoop - Web 平台安装程序 Hadoop 重新安装

我在 Windows 8 下使用 Web 平台安装程序安装了 HDInsight (Hadoop),却发现安装程序设置为安装到 IIS Express 而不是 IIS。所以,我使用添加/删除程序卸载了它。现在我想将它重新安装到 IIS,但是当我运行 Web 平台安装程序时,它认为它已经安装并且不会让我重新安装(安装按钮被禁用)。

有没有办法 a) 手动安装 HPInsight,或 b) 强制 WPI 重新安装。

顺便说一句,我清除了 WPI 中的缓存,认为它可能会重新计算安装了哪些功能,但它只是删除了我可以用来从以前下载的包中手动安装的安装文件。

0 投票
1 回答
1109 浏览

windows - 运行 MapReduce 作业时出错:不是有效的 Inet 地址

我想尝试在 Windows 上使用 Hadoop。我已将 Windows Azure HDInsight Preview 作为单个节点安装在我的 Windows 7 笔记本上。仪表板和节点已启动并运行,HDFS 正在运行。但是,当我运行 MapReduce 作业时,它会失败并显示错误消息“不是有效的 Inet 地址”:

当我查看作业日志时,我可以看到 Marc_Red_Data 存在是以下属性:

不知何故,它得到了这个名字,但我不知道如何解决这个问题。有谁知道如何解决这个问题?

0 投票
1 回答
128 浏览

hadoop - 加载数据时出现 HDInsight VM 初始化错误

我正在尝试运行此入门示例以将数据加载到我的单节点 HDInsight hadoop 集群中。当我运行示例时,我收到如下所示的错误:

0 投票
3 回答
326 浏览

azure - Azure 上的 Hadoop 创建新集群

我可以通过界面创建一个新的 Hadoop 集群,但需要根据请求创建一个新的集群。有谁知道是否存在用于创建新集群的 API?

0 投票
0 回答
303 浏览

sql-server - Sqoop 导入失败

我在将数据从导入SQL ServerHDFS使用时遇到问题SQOOP。我正在使用 Windows 平台并已安装HDInsights在我的机器上。

这是错误。

需要帮助。谢谢

0 投票
2 回答
643 浏览

web - Microsoft Web 安装程序错误“根级别的数据”

我正在尝试使用 hdinsight-preview.exe 在我的 Windows 7 64 位操作系统上安装 hdinsight。它是来自 Microsoft 的 Web 平台安装程序。一旦我将自定义提要作为 MSSingleNodeInstaller.msi 提供。我想我应该提供一个 xml 文件。在此之后,它会抛出错误“根级别的数据无效。第 1 行,位置 1”。我尝试卸载并重新安装,但没有成功。每次我启动它,它都会抛出同样的错误。它试图读取哪个 xml 文件。