问题标签 [analytics-engine]

数据文件由 spark 结构化流式作业创建：

这是第一个文件的前几行：

但是，如果我运行查询，则不会返回任何数据：

hive 的日志文件为空：

我该如何进一步调试呢？

我正在尝试从 IBM Analytics Engine 上的 Spark Structured Streaming 写入 IBM Compose Elasticsearch 接收器。我的火花代码：

但是，我收到以下异常：

有任何想法吗？

我正在尝试调试在 IBM Analytics Engine (IAE) 上运行的 Hive 作业。

我尝试了以下说明：https ://community.hortonworks.com/content/supportkb/150214/how-to-enable-debug-hive-cli-logging.html

但是，没有创建日志文件。

由于 IAE 是 IBM 定制的 HDP 环境，我想知道在 IBM Analytics Engine 上调试配置单元查询的具体说明是什么

我有一个 spark 结构化流作业，将数据写入 IBM Cloud Object Storage (S3)：

我可以使用 hdfs CLI 查看数据：

但是，当我尝试查询数据时：

我的表 DDL 如下所示：

我也尝试过使用正确的列/分区名称大小写 - 这也不起作用。

任何想法为什么我的查询没有找到数据？

更新 1：

我尝试将位置设置为包含没有分区的数据的目录，但这仍然不起作用，所以我想知道这是否是数据格式问题？

我在 IBM Cloud 上使用 Analytics Engine，但是当我不工作时，我看不到任何地方可以停止它。因此，当我使用 Lite 帐户时，我需要一天的时间来消耗我的所有信用。不工作时如何停止或暂停？

我想在IBM Cloud上使用大数据服务，所以找到了Analytics Engine(AE)和BigInsight，可惜BigInsight要停了，所以只能选择AE。但是IBM AE是不同的AWS和GCP大数据服务，AE禁止用户拥有root权限，所以不能在集群上更改一些配置，但是想在集群上安装Kylin，需要打开Kylin的7070端口，后来发现Knox可以映射端口，不过貌似IBM改了。那么如何打开7070端口供外部访问呢？我可以获得root权限吗？或者除了“分析引擎”和“BigInsight”还有其他的大数据服务吗？

我正在尝试使用spark-submiton 运行 JAR 文件：

1. 我的本地机器 (Mac OS)
2. 另一台本地机器 (Windows)
3. IBM Cloud 分析引擎控制台

PS：它们都运行相同的Spark版本Scala（Spark - 2.3.2 和 Scala - 2.11.12）

这是我的build.sbt：

我在各处给出的运行 jar 文件的命令都是一样的：

虽然它在两台本地计算机上都成功运行，但尝试在 Analytics Engine spark 上运行时出错，并带有以下崩溃日志：

我不确定是什么导致 Analytics Engine 上出现此错误，因为相同的 JAR 文件使用spark-submit.

我也不需要指定库 JAR，因为当我运行sbt assembly命令时，它们都已编译到可执行 JAR 中。

编辑1：还需要提到，当我运行时

该程序在所有 3 台机器上都成功执行，但是当使用 执行时spark-submit，它在分析引擎上失败。我正在寻找与 Oozie 的日程安排，这就是为什么spark-submit在 Analytics Engine 上工作对我来说很重要。

这是我的build.sbt文件：

我使用sbt clean compile assembly.

在使用运行我的文件时spark-submit（尽管没有任何火花依赖，我必须以这种方式运行它），我看到抛出以下异常：

当我通过使用 7zip 解压缩 JAR 来调查 JAR 时，我发现那里play.api.libs.json.JsLookup$.apply$extension1确实不存在。如何确保在执行操作时成功编译所有类文件sbt assembly

我在 IBM Cloud 上使用 Analytics Engine 并尝试通过 Ambari 配置，如下面的高级供应选项。

我正在按照此文档通过上述配置

https://cloud.ibm.com/docs/services/AnalyticsEngine?topic=AnalyticsEngine-advanced-provisioning-options

多次退休后，我看到每次我的集群请求失败。

我学习了 cognitievclass.ai 中的一门 hadoop 课程，并尝试按照说明创建一个分析引擎实例。如 IBM Cloud 目录中所述，Analytics Engine 可免费用于 Lite 帐户，但每当我进行配置并尝试使用我的 Lite 帐户创建实例时，它都会出现以下错误。

您的帐户未被授权选择 Lite 计划。将您的帐户升级到付费 IBM Cloud 帐户以创建服务付费计划的实例

截图在这里

为什么会弹出这个错误？我的帐户是在不到 30 天前创建的，在我的帐户设置中显示我的帐户是 Lite 帐户。任何帮助，将不胜感激！