问题标签 [biginsights]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
3375 浏览

java - Hadoop 无法设置 Reducers > 1

我正在使用 Hadoop 进行大学作业,并且我的代码可以正常工作,但是我遇到了一个小问题。

我正在尝试将减速器的数量设置为 19(这是文档建议的 0.95 * 容量)。但是,当我在任务跟踪器中查看我的工作时,它总共显示 1 个减速器。

预期产量:

但在最终输出中我得到:

我覆盖的mapreduce部分是:

  • 映射器
  • 减速器
  • 分区器
  • 分组比较器。

我的第一个想法是分区器为每个键返回相同的值。我检查了这一点,但事实并非如此。

我还检查了石斑鱼是否正常工作。

我不确定还有什么可能导致这种情况。如果有人可以提供帮助,将不胜感激。

我是一个非常反对 Java 的人,所以如果可以的话,请尝试使用非常明确的例子。

PS:我没有设置这个集群,它是由大学设置的,所以我不确定任何配置变量。PS:要发布的代码太多,所以请让我知道您特别想看到的任何代码。

编辑: TejasP 向我提出了以下问题:

您真的是在 Hadoop 上运行代码还是在本地模式下运行代码?(看看你的工作是否出现在 jobtracker 和 tasktracker 上)。

是的,我是,它可以在 jobtracker UI 中查看。这也报告了 1 个减速器。以及注意:这在 settings.xml 中将减速器列为 1

您是否在环境中导出了 HADOOP 变量?

是的,它们在 env 中可见,并且在我设置它们之前代码不会编译。

集群是单节点还是多节点?并且即使集群有多个节点,所有节点都健康吗?其他节点有问题吗?

是的,有多个节点 (10) 作业跟踪器报告:

您是否正确使用 setNumReduceTasks?如上所述,我调用了 set,然后获取并取回了它被设置为 (19) 的值,但最终的代码仍然只使用了 1。

您可以通过删除细节将您的代码缩减为一个小的 map-reduce 代码(这仅用于 ?debugging)。运行。走着瞧吧。面对同样的问题,请在原始问题中提供简化的代码。

我将尝试再次编辑结果

0 投票
0 回答
266 浏览

hadoop - 猪的安全问题

我有运行良好的 Embedded Pig 程序,它使用 PIG 0.7.1 和 Biginsights 1.0 。现在我想在新版本的 PIg(0.9.1) 和 Biginsights(1.4) 中执行相同的程序。但是当我执行它时显示以下错误。

仅供参考,我可以使用 java 程序读取 hdfs 文件。我认为只有 PIG 有问题。谁能帮我解决这个问题。?

这是我的示例代码:

0 投票
1 回答
157 浏览

bigdata - Jaql - 顶级操作员默认顺序

根据IBM 文档 - http://publib.boulder.ibm.com/infocenter/bigins/v1r1/index.jsp?topic=%2Fcom.ibm.swg.im.infosphere.biginsights.doc%2Fdoc%2Fc0057749.html Jaql 的顶级运算符的默认顺序是升序。但是当我运行它时,我看到默认顺序为降序。我正在使用 BigInsights 1.4 版。我想知道是否有人知道这是文档问题还是这种看似差异背后的其他原因-

0 投票
1 回答
1748 浏览

hbase - HBase NoServerForRegionException

尝试通过 Java API 放入 HBase 时,抛出 NoServerForRegionException。

代码片段:

出现以下错误。

Hbase:org.apache.hadoop.hbase.client.NoServerForRegionException:尝试 10 次后无法找到 ,,99999999999999 的区域。>

从使用 HBase Shell 的命令行中,如果我们尝试使用 put 命令,同样可以正常工作。

同样从zookeeper日志中,它似乎能够连接到HBase,然后抛出异常

在 IBM BigInsights Distribution 中尝试过。

任何关于如何克服这个问题的想法都非常感谢。

谢谢你的时间。

编辑:

我通过指定 ip 和 quorom 详细信息从 Web 服务器(托管在与 BigInsights Cluster 相同的网络中的不同计算机中)调用它。

0 投票
1 回答
672 浏览

biginsights - 通过 Java API/Python 访问 gpfs​​ 文件

我是 IBM-GPFS 的新手。因为我们可以通过 Java API、python 脚本访问 HDFS。有没有类似的方法来访问 GPFS 文件?请建议我解决方案。

0 投票
3 回答
264 浏览

java - 从 BigInsights 获取参数

我开发了一个 Java 应用程序并将其部署到 BigInsights。但我不得不在代码中给出一些参数。如何从 BigInsights 应用程序页面获取它们?我在参数选项卡中发布 BigInsights 项目时添加了输入字段,但是如何将它们与应用程序绑定?我找不到任何关于此的文件。

0 投票
2 回答
560 浏览

bigdata - IBM InfoSphere BigInsights with vmware image 没有脚本

我正在尝试使用 IBM 的 vmware 映像安装 IBM InfoSphere BigInsights,我成功加载了映像,并且根据此 doc biginsight 自述文件显示了 redhat 屏幕

一切正常,但桌面上没有“启动 BigInsight 服务”图标。但是我安装了 webconsole 和 eclipse。由于下一步要使用“启动 BigInsight 服务”访问终端,所以一直卡住。

0 投票
2 回答
6535 浏览

hadoop - 如何使用 Hive 显示信息模式?

有什么方法可以information_schema使用 Hive 实现吗?另外,在 Hive 中进行数据分析的过程是什么?我们使用这样
的 SQL 示例:Information_Schema

0 投票
2 回答
511 浏览

bigdata - 安装 IBM InfoSphere BigInsights 的先决条件

安装 IBM InfoSphere BigInsights Quick Start Edition 的先决条件是:

- root 用户必须对集群中的所有机器具有无密码 ssh 访问权限。

- 安装管理员用户帐户 (admin) 必须具有对所有节点的无密码 ssh 访问权限。

我的 LINUX 操作系统中只有一个 ROOT 帐户,我正在尝试使用具有 root 用户的单节点安装它。对于我的系统中的root用户如何满足以上两个要求?

0 投票
1 回答
79 浏览

apache-pig - 过滤器不工作

我们正在尝试使用 Pig 查询过滤 hdfs 数据。我们将数据用双引号括起来。例如:“AAA”、“BBB”、“YYY”。我们正在尝试过滤 YYY 我们尝试了以下过滤方式,

期待您的帮助。