问题标签 [qubole]

我有一个调用我的 python 脚本的 spark-submit 命令。代码运行超过 36 小时，但是由于 36 小时的 QDS 超时限制，我的命令在 36 小时后被终止。

有人可以帮我如何将此参数值更改为设置为 50 小时吗？这就是我在 QDS 中调用脚本的方式

/usr/lib/spark/bin/spark-submit s3:///abc.py

我们在 HDI 4.0 上使用 Hive 3.1.x 集群，其中 1 是 LLAP，另一个是 Just HIVE。

我们在两个集群上创建了一个托管表，行数为272409.

在两个集群上合并之前

Based on the delta, we'd perform a merge operation (which updates 17 rows).

在 hive-llap 集群上合并后（压缩前）

在 hive-llap 集群上合并后（压缩后）

仅在 hive 集群上合并后（不压缩增量）

这是观察到的不一致

但是，在 hive-llap 上压缩表后，没有看到结果集不一致，两个集群都返回相同的结果。

We thought it might be due to either caching or llap issue, so we restarted the hive-server2 process which will clear the cache. The issue is still persistent.

We also created a dummy table with same schema on just hive cluster and pointed the location of that table to that of llap one, which in turn is producing result as expected.

We even queried on spark using **Qubole spark-acid reader** (direct hive managed table reader), which is also producing expected result

这是非常奇怪和奇特的，有人可以在这里帮忙。

我将 Qubole 连接到 Azure 数据湖，我可以启动一个 spark 集群，并在其上运行 PySpark。但是，我无法保存任何本机 Python 输出，例如文本文件或 CSV。除了 Spark SQL DataFrames，我无法保存任何内容。我应该怎么做才能解决这个问题？先感谢您！

我公司中使用 RPA 的团队之一想要自动化在 Qubole - Hive 环境中运行的报告。最初的方法是释放机器人登录 Okta，然后在 Qubole 中的 Workbench，运行查询并下载结果。

使用您知道的 UiPath Studio 是否有更直接的方法？

使用 Qubole

我有

表 A（解析的 json 中的列...）

我只需要选择推荐良好但决策不良的 ID。因此输出应该是3。

我试过 ：

我必须使用不符合 DBAPI 的库来与数据库交互（qds_sdk对于 Qubole）。这个库只允许发送不带参数的原始 SQL 查询。因此，我想要一种防 SQL 注入的方式来将参数插入查询并在 Python 中获取结果格式的查询。类似于format_sql下面示例中的函数：

这是可能的，还是它太特定于 RDBMS？

如何将 qubole 对象（笔记本、计划、环境、集群配置）从https://api.qubole.com迁移/移动到https://us.qubole.com QDS 环境

我在 Qubole 上遇到了一个奇怪的问题，我正在生成关于 Qubole 的报告，并使用 Bash 命令和我的 AWS 密钥和秘密密钥来导出数据。在我的 s3 服务器上，我看到了正确的文件名，但我期望的报告不是那个。有没有人遇到过这个问题？

我正在尝试在 Python 中查询 Qubole 数据，但遇到了一些问题。下面是我的代码：

但是，当我尝试提取结果时：

presto.get_results()

输出是这样的：

类类型是“NoType”..此外，没有表头......

我想，get_results()有什么问题吗？谢谢！

我在 Hive 表中有一个类型为：

以下是列中的数据示例：

如何将每个“类型”查询到一列？