问题标签 [biginsights]

我想问你关于在centos 7上安装BigInsights 4.2的问题。据我所知，现在只能通过kitematic或dockerhub进行安装，但kitematic仅适用于widnows或mac。如果我想通过 dockerhub 安装，我必须下载可用于 linux 的 kitematic。所以我的问题是：如何在 centos 或 linux 系统上安装 BigInsights 4.2？

更重要的是，我安装了 IBM IOP，是否有任何选项可以通过 IBM IOP 安装 BigInsights - BigSheet、BigInsights - Big SQL、BigInsights Data ServerManager 等服务？

我正在尝试使用自定义 python 运行 python 脚本并部署--deploy-mode cluster在 Enterprise 4.2 集群上。

然后我创建一个简单的 pyspark 脚本：

然后我尝试像这样运行脚本：

这在纱线集群上运行，但不使用该PYSPARK_PYTHON变量。

但是，如果我使用--deploy-mode client,PYSPARK_PYTHON就可以了。

更新

我尝试在 SparkContext 初始化之前添加它：

另外，尝试设置--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/home/biadmin/anacond‌​a2/bin/python2.7

然而，

是否有任何链接或参考可以提供 Ambari 服务的所有属性的描述？

当我检查来自http://.....:8080/api/v1/clusters/....../hosts/...../host_components/HIVE_SERVER. 我想了解所有这些属性的重要性。

我安装了 IBM BigInsights 4.2 集群，我正在尝试创建本机纱线作业。

要在我的笔记本电脑（而不是集群）上编译 java 代码，我需要 hadoop 客户端库。

如何获取 IBM BigInsigths 4.2 (IOP) 的 hadoop java 库？

同时，我的java项目使用Maven。BigInsights 4.2 (IOP) java 库是否有 Maven 存储库？

嗨，自从过去 2 天以来，我一直在尝试在 bluemix 上测试这两个组件，如果两者在 NodeJs 上都有一些健壮的库，我现在需要测试，因为我一直在尝试我在 npm 上找到的那些，并在 Bluemix 上找到了那个Cloud Storage 作为 Nodejs SDK，我什至连接到 Cloud Storage 和 Hive 都不成功，我完全迷失了方向。我希望这里的某个人至少可以给一个领导....

提前致谢

如何将数据帧中的数据写入 HDFS 中的单个 .parquet 文件（单个文件中的数据和元数据）？

df.rdd.getNumPartitions()- 它有 1 个分区

1

如果我使用上述命令在 HDFS 中创建 parquet 文件，它会在该目录"payloads.parquet"中HDFS和该目录内创建多个文件.parquet文件，元数据文件正在保存。

找到 4 件商品

如何将数据框中的数据写入单个.parquet文件（单个文件中的数据和元数据）HDFS而不是包含多个文件的文件夹？

帮助将不胜感激。

如何从本地 pyspark 程序连接和加载远程 BigInsights HDFS（启用 kerberos 身份验证）中的文件进行处理？

帮助将不胜感激。

我正在尝试使用 Flume 分析 twitter 数据我使用 BigInsights 中的 Flume 从 twitter 获取文件，但我收到的数据是压缩的 Avro 架构，不可读任何人都可以告诉我一种可以将该文件转换为 JSON 的方法（可读）以便对其进行一些分析。

或者有什么办法可以让我收到的数据已经是 JSON（可读）格式。
提前致谢。

这是我收到的数据

根据我的数据科学经验，我能够连接到 BigInsights 中的 Hive 数据库并读取表架构。但是 Data Science Experience 似乎无法读取表格内容，因为我的计数为零！以下是我的一些设置：

谢谢。

我是 Big Insights 的新手。我正在使用 Cloud 4.1、Ambari 2.2.0 和 Spark 1.6.1 上的 BigInsigths 连接是在 scala 还是 python 中并不重要，但我需要使用 spark 进行数据处理，然后将其持久保存在 BigSql 中。这可能吗？提前致谢。