问题标签 [analytics-engine]

我想打印我帐户中可用的所有分析引擎实例。

我可以使用以下方式打印所有可用的组织和空间：

然后

输出：

我怎样才能列出这些空间中的集群？

IBM Analytics Engine文档有以下关于获取名称节点主机名的说明：

转至 IBM® Cloud 中的管理集群并单击节点选项卡以获取名称节点主机名。它是 management-slave1 节点类型的主机名。

如何以编程方式检索名称节点主机名？我可以通过 API 检索它，或者我可以通过在 ssh 上运行命令来获取它。如果做不到这一点，我可以从 vcap 服务上的主机名之一派生它吗？

也许这些信息应该在 vcap 信息中提供给用户？

我正在尝试将python-ambariclient与 IBM Analytics Engine 一起使用：

然后

但是，我遇到了连接问题：

ConnectionError: HTTPConnectionPool(host='XXXXXX.bi.services.us-south.bluemix.net', port=9443): 最大重试次数超过了 url: /api/v1/clusters (由 ProtocolError('Connection aborted.', RemoteDisconnected('远程结束关闭连接无响应',)))

python-ambariclient库有一个用于检索 host_components 的 api ：

如何提取 IBM Analytics Engine 集群的 name_node？

我想我需要打个电话：

其中检索以下信息：

如何使用 IAE 降低 HDFS 上的数据复制因子？

这个想法是使用所有可用的 HDFS 磁盘空间进行测试。

我看到很多问题询问如何在其他供应商的 Hadoop 集群上执行此操作，但在 IBM Analytics Engine 上却没有。

我正在尝试从 IBM Analytics Engine 将文件上传到云对象存储：

但是，我收到有关创建磁盘失败的警告：

18/01/26 17:47:47 WARN fs.LocalDirAllocator$AllocatorPerContext: 未能创建 /disk1/s3a 18/01/26 17:47:47 WARN fs.LocalDirAllocator$AllocatorPerContext: 未能创建 /disk2/s3a

请注意，即使我收到此警告，文件仍会上传：

-rw-rw-rw- 1 clsadmin clsadmin 11358 2018-01-26 17:49 cos://xxxxx/LICENSE-2.0.txt

问题似乎是：

这些警告的含义是什么？/tmp/s3a 文件夹确实存在，那么我们可以忽略有关这些其他文件夹的警告吗？

我正在从 IBM Cloud Object Storage 上的 csv 文件创建一个外部配置单元表。我在使用 clsadmin 用户 ssh 进入集群时使用直线客户端。我能够建立jdbc连接。创建表时出现以下错误。

csv 文件位于存储桶中 - bucket-name-masked，我已将 fs.cos 参数集命名为“hivetest”

0: jdbc:hive2://***hostname-masked***> CREATE EXTERNAL TABLE NYC311Complaints (UniqueKey string, CreatedDate string, ClosedDate string, Agency string, AgencyName string, ComplaintType string, Descriptor string, LocationType string, IncidentZip string, IncidentAddress string, StreetName string, CrossStreet1 string, CrossStreet2 string, IntersectionStreet1 string, IntersectionStreet2 string, AddressType string, City string, Landmark string, FacilityType string, Status string, DueDate string, ResolutionDescription string, ResolutionActionUpdatedDate string, CommunityBoard string, Borough string, XCoordinateStatePlane string, YCoordinateStatePlane string, ParkFacilityName string, ParkBorough string, SchoolName string, SchoolNumber string, SchoolRegion string, SchoolCode string, SchoolPhoneNumber string, SchoolAddress string, SchoolCity string, SchoolState string, SchoolZip string, SchoolNotFound string, SchoolorCitywideComplaint string, VehicleType string, TaxiCompanyBorough string, TaxiPickUpLocation string, BridgeHighwayName string, BridgeHighwayDirection string, RoadRamp string, BridgeHighwaySegment string, GarageLotName string, FerryDirection string, FerryTerminalName string, Latitude string, Longitude string, Location string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION 'cos://*bucket-name-masked*.hivetest/IAE_examples_data_311NYC.csv';

错误：处理语句时出错：FAILED：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。MetaException(message:cos:// bucket-name-masked .hivetest/IAE_examples_data_311NYC.csv 不是目录或无法创建目录) (state=08S01,code=1) 0: jdbc:hive2:// hostname-masked >

这看起来像是一个权限问题，但我已经为 hdfs 和 cos 中的相关用户 ID 提供了所有凭据

我在 IAE 上运行的纱线应用程序有问题。我想尝试调查此问题的一个选项是启用 JVM 远程调试，以便我可以从我的 IDE 连接并逐步检查有问题的代码。通常用于调试的 jvm 选项如下所示：

用户在 IAE 上没有 root 访问权限，所以我想知道如何配置 yarn 以使用 JVM 远程调试选项集运行？

我相信我还需要为远程 JVM 调试设置 SSH 隧道，因为 IAE 位于防火墙后面？

To help debug an issue with a yarn application, I need to modify some of the system code on IAE to provide more debug output.

I have retrieved this jar file from the cluster to my local machine:

I've modified the bytecode to log more information when the an exception is thrown on checkOpen():

However, I'm unable to save the library with my changes back to the cluster because I don't have root access.

How can I deploy my modified jar files to the cluster? Assume that I need to install the libraries on the name node and compute nodes.

我正在尝试设置对我的集群的无密码 ssh 访问。

我ssh-copy-id clsadmin@my-clusterhostname在升级时使用并输入了集群密码。ssh-copy-id 的输出显示：

但是，当我尝试通过 ssh 进入集群时，系统会提示我输入密码。如果我登录到集群，我可以看到密钥已添加到~/.ssh/authorized_keys.

为什么在这些步骤之后无密码 ssh 不起作用？