问题标签 [qubole]

我在 Qubole 中有一个代码需要将近 3 个小时才能执行。我正在寻找一些减少代码执行时间的建议。

我正在尝试使用Qubole SDKhive运行查询。虽然我能够获得所需的结果，但为了更好地处理它，我希望逐行访问它。类似于 java 对象列表的东西。string

获取数据的方式是：

控制台给出如下输出：

我希望以列表的形式设置这个结果集，我可以对其进行迭代，而不是解析或标记一堆字符串。

如果存在，则无法找到任何库或类。

我在 Qubole(Hive) 中创建了一个外部表，它从 s3 读取 parquet(compressed: snappy) 文件，但是在执行SELECT * table_name 时我得到了除分区列之外的所有列的空值。

我尝试在 SERDEPROPERTIES 中使用不同的 serialization.format 值，但我仍然面临同样的问题。在删除'serialization.format' = '1'我得到的财产时ERROR: Failed with exception java.io.IOException:Can not read value at 0 in block -1 in file s3://path_to_parquet/。

我检查了 parquet 文件，并能够使用 parquet-tools 读取数据：

我正在运行一个 hadoop distcp 命令，如下所示：

我想知道通过运行此命令复制的数据的大小。我打算在 Qubole 上运行命令。

任何帮助表示赞赏

我正在尝试一个非常基本的配置单元查询。我正在尝试从数据集中提取 json 字段，但我总是得到

\N

对于 json 字段，但是 some_string 没问题

这是我的查询：

问题：如何在此处获取 json 字段？

我正在使用下面的代码在 Qubole Notebook 中运行，并且代码运行成功。

但是，当我在 Qubole 的分析中运行相同的代码时，我收到以下错误。

当我取出下面的代码时，它在 Qubole 的 Anlayze 中运行良好。

我相信在某个地方我必须改变case类的用法。

我正在使用 Spark 2.3。

有人可以让我知道如何解决这个问题。

如果您需要任何其他详细信息，请告诉我。

在 Qubole 笔记本中，我试图从 API 响应中获取某些字符串。对于示例数据，它似乎工作得很好，但是当我使用完整集时失败了。星火版本：2.3.1；斯卡拉版本：2.11；scalaj-http 版本：2.4.2

我为样本数据获得的预期结果示例：

当我尝试处理我必须处理的所有 search_destination_id 时收到错误消息：

请告知导致此错误的原因以及如何避免它。

我正在尝试使用sparklens对火花流应用程序进行性能分析。它给出了这样的结果

即使如果我增加执行者，估计的时间也是一样的。

这些建议是否正确？

有人可以在文档中指出基于 avro 文件在 qubole 上创建外部表吗？

以下目录有一堆avro文件

在最近推出的新 Qubole 分析 UI 中，我似乎找不到更改命令标题的方法。在旧界面中，我可以点击命令标题，它会变成一个可编辑的文本框。