问题标签 [biginsights]

我曾尝试直接从 Eclipse 部署我的 BigInsight 性质的 Java 程序。但它显示“找不到类”错误。

但是，当我在部署应用程序时在运行时依赖项中添加同一项目的可运行 jar 时，它运行良好。

在 BigInsight 应用程序发布时，它必须添加特定项目的所有依赖项。UI 中是否有任何选项可以让我做同样的事情？

我正在尝试在我的 MapReduce 程序中使用计数器，但是每当我尝试增加它时，我都会收到以下错误：

然后当我试图读取计数器的值时，我得到以下异常：

当我尝试从 Mapper 或 Reducer 实现它时，就会发生这种情况。我的实现如下所示：

如果我使用 Mapper 中的计数器，它只是 map 方法中的一行，如下所示：

如果我从 Reducer 尝试过它，它正在清理中：

然后我像这样实现了计数器的枚举：

在我的主类中，我想检索计数器的值，如下所示：

不幸的是，似乎没有对我有用的计数器操作。除了我上面描述的之外，还有其他一些如何初始化计数器的具体方法吗？

我在 IBM BigInsights 实例上使用 Hadoop 版本 1.1.1（如果此信息无论如何与问题相关）。特别是当我输入 hadoop 版本时，我得到：

预先感谢您的任何帮助。

编辑： 我已经在我的虚拟盒子中的玩具一个节点 Cloudera Hadoop 实例上尝试了我的 Map Reduce 程序，它看起来就像我预期的那样工作。在 hadoop version 命令之后，我得到了：

所以我的问题是：

1) 计数器在 Cloudera 对我有用的原因仅仅是因为它是单节点实例吗？还是计数器应该在多节点实例上工作？因此，IBM BigInsights 方面唯一的问题是什么？

我一直在使用 Cloudera 的 hadoop (0.20.2)。在这个版本中，如果我将文件放入文件系统，但目录结构不存在，它会自动创建父目录：

例如，如果我在 hdfs 中没有目录并输入：

hadoop fs -put myfile.txt /some/non/existing/path/myfile.txt

它将创建所有目录：一些、非、现有和路径并将文件放在那里。

现在，有了更新的 hadoop (2.2.0) 产品，这种目录的自动创建不会发生。上面的相同命令产生：

put: `/some/non/existing/path/': 没有这样的文件或目录

我有一个解决方法，可以先对每个 put 执行hadoop fs -mkdir，但这不会很好。

这是可配置的吗？有什么建议吗？

我已经安装了一个包含 3 台机器的 hadoop 集群，其中 2 个节点充当数据节点，1 个节点充当 Namenode 以及一个 Datanode。我想澄清一些关于 hadoop 集群安装和架构的疑虑。这是我正在寻找答案的问题列表----

1. 我在集群中上传了一个大约 500mb 大小的数据文件，然后检查了 hdfs 报告。我注意到我制作的namenode在hdfs中也占用了500mb大小，以及复制因子为2的datanode。这里的问题是我希望namenode不要在上面存储任何数据，总之我不希望它作为数据节点工作，因为它还存储我正在上传的文件。那么有什么办法让它只作为主节点而不是数据节点呢？

我尝试在 Namenode 上运行命令 hadoop -daemon.sh stop 以停止其上的 datanode 服务，但它没有任何帮助。

1. Namenode 为通常为 1 GB 的文件大小生成多少元数据？任何近似值？

当我安装 IBM Big Insights Quick Start Editor 3.0.0.0 时，除了出现错误的 Big SQL 组件之外，其他组件都是正确的：

无法启动 Big SQL 头节点和 Big SQL 调度程序节点。

当我跑./start.sh bigsql进去<BIGINSIGHTS_HOME>/bin

运行时出现以下./bigsql start错误<BIGINSIGHTS_HOME>/bigsql/bin

我有这个简单的查询，它在 IBM BigInsights2.0 的 hive 0.8 中很好：

但是，当我在 BigInsights3.0 中使用 hive 0.12 运行此查询时，它会永远运行并且不返回任何结果。实际上，以下查询和许多其他查询的情况相同：

如果我排除WHERE部分，那么这两个版本都可以。

知道在查询中包含WHERE子句时 hive 0.12 或 BigInsights3.0 可能有什么问题吗？

尝试按照指南将 BigInsights Federation 设置为 Netezza 时http://www.ibm.com/developerworks/library/ba-federation-biginsights/index.html

设置完所有环境变量后，在尝试创建 Netezza 包装器时，出现以下错误：

创建 WRAPPER NETZ 库 'libdb2rcodbc.so' 选项（模块'/opt/ibm/home/bigsql/resources/lib64/libnzodbc.so'）；遇到的 SQL 异常：[状态：42724][代码：-10013]：无法加载指定的库“/opt/ibm/home/bigsql/resources/lib64/libnzodbc.so”.. SQLCODE=-10013 , SQLSTATE=42724, 驱动程序=3.67.33

有没有人遇到过这种情况。我也遵循了链接http://www-01.ibm.com/support/docview.wss?uid=swg21154462
中的建议，但 仍然遇到同样的问题。

我正在使用 Chef 静默安装 Biginsights 3.0。奇怪的是，如果我在没有 Chef 配方的情况下调用安装，即手动“./silent-install.sh install.xml”，它工作正常。但是当我通过 Chef recipe 调用它时，它失败了。它不安装 bigsql1,sheets，因为它失败了。我正在粘贴错误。由于 bigsql1 安装未成功完成，因此未获取所需文件。

任何帮助将不胜感激。我确定某处 Chef 未能调用 bigsql1 安装脚本，很可能是终端问题。

这是我的食谱代码

bivm:/home/biadmin/Desktop # curl -i " http://bivm.ibm.com:14000/webhdfs/v1/tmp/newfile?op=OPEN " HTTP/1.1 401 对 HttpFS 服务器的访问受到限制。请先从 BigInsights 控制台获取正确的凭证。内容类型：文本/html；charset=iso-8859-1 缓存控制：必须重新验证，无缓存，无存储内容长度：1589 服务器：码头（6.1.x）

当我尝试使用WebHDFS REST API通过 HttpFS 服务器的调用（默认在端口 14000 上运行）访问集群中的文件时，出现上述错误。请指教。

我安装了Biginsights 3.0，但没有Yarn。如何安装Yarn或者我可以打开它？我在 IBM 网站上搜索了任何信息，但没有任何关于它的信息。