问题标签 [starburst]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
47 浏览

presto - Presto 从 Azure Blob 存储读取 parquet 文件

我有一个 Azure HDInsight Hadoop 集群和一个存储在 Azure blob 上的 parquet 文件。

在 presto/etc/catalog 中,我给出了这样的 hive.properties:

connector.name=hive-hadoop2 hive.metastore.uri=thrift://hn0-starbu.ydgoxqzb4qcunmscnzzmkgcq5c.bx.internal.cloudapp.net:9083,thrift://hn1-starbu.ydgoxqzb4qcunmscnzzmkgcq5c.bx.internal.cloudapp.net :9083 hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

我无法与 Metastore 建立连接。有什么我错过的吗。

0 投票
0 回答
414 浏览

python-3.x - Apache Superset 1.3 通过 SASL 连接到 Presto 时出错

尝试使用 Kerberos 将 Apache Superset 1.3 与 Trino/Presto 连接。能够使用 pip install pyhive['presto']==0.6.2 成功安装插件,也尝试了其他版本。

尝试进行连接测试时,出现以下错误

[SupersetError(message='(builtins.NoneType) None\n(此错误的背景:http://sqlalche.me/e/13/dbapi)', error_type=<SupersetErrorType.GENERIC_DB_EN​​GINE_ERROR: 'GENERIC_DB_EN​​GINE_ERROR'>, 级别=<ErrorLevel.ERROR: 'error' >, extra={'engine_name': 'Presto', 'issue_codes': [{'code': 1002, 'message': 'Issue 1002 - 数据库返回意外错误。' }]})] 2021-09-03 10:22:54,708:WARNING:superset.views.base:[SupersetError(message='(builtins.NoneType) None\n(此错误的背景:http://sqlalche .me/e/13/dbapi)', error_type=<SupersetErrorType.GENERIC_DB_EN​​GINE_ERROR: 'GENERIC _DB_EN​​GINE_ERROR'>, level=<ErrorLevel.ERROR: 'error'>, extra={'engine_name': 'Presto', 'issue_codes' : [{'代码': 1002, 'message': '问题 1002 - 数据库返回意外错误

我在我的 engine_params 中尝试了这个配置

Superset 文档指出这是后端数据库的问题,即 Presto https://superset.apache.org/docs/miscellaneous/issue-codes

使用 LDAP 进行这项工作绝对没有问题,即用户名:密码问题只是使用 kerberos。

为了进一步调试,从 python 和 SQLAlchemy 层,我尝试了这些步骤与 LDAP 完美结合

但是,一个接一个地,我们不断收到错误,其中 kerberos 特定属性为“未知”,以“auth”开头,然后抱怨所有 kerberos 密钥,即“kerberos_principal”、“kerberos_config_path”等。

有没有类似经历的可以分享一下吗??

0 投票
0 回答
173 浏览

amazon-emr - EMR 缩减上的 Prestosql/trino 会杀死查询

我在 EMR 上有一个 presto 集群。我们还根据 AWS Cloudwatch 指标制定了自动扩展策略。当集群缩减节点时,我们遇到了一个问题,它不会等待在这些节点上运行的查询完成。它只是杀死所有查询并缩小规模。有一个属性可以优雅地关闭节点,可以在集群配置中使用,但这有其局限性。它不适用于 trino 或 prestoSql。这只适用于 Prestodb。

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/presto-graceful-autoscale.html

我还探索了cooldown自动缩放策略的时期,但它们似乎都不适用于我们的集群。我想知道这是 prestosql/trino 的已知问题吗

0 投票
0 回答
28 浏览

user-defined-functions - 如何在 Presto/Trino 自定义 UDF 结束时运行清理代码?

我创建了一个自定义标量 PrestoSQL/Trino UDF。我想知道是否可以在 UDF 执行结束时(任务执行结束或拆分的最后一行/数据之后)检测并运行方法?我想在 UDF 完成拆分执行后运行清理/IPC 资源释放(有点像 close() 方法)

0 投票
1 回答
54 浏览

sql - 使用 Trino 将 JSON 转换为 varchar

我正在尝试使用 Trino 将 JSON 对象从表列转换为 varchar 我在这里尝试使用这些文档,但每次都会引发错误。https://trino.io/docs/current/functions/json.html 如果有人可以发布一个示例,我该如何制作它会很棒。