问题标签 [dremio]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
dremio - 如何在dremio中查询“空文本”字段？
我在dremio的表格的单元格中有某些行有短语“空文本”。
当我尝试以下查询时：
对于其中包含文本“空文本”的行，我没有得到任何结果。
如何在dremio中查询“空文本”字段或将空字段的数据类型更改为“空”？
apache-spark - 数据集中的分割数超过数据集分割限制，Dremio+Hive+Spark
我们有一个由 Hadoop+Hive+Spark+Dremio 组成的堆栈，因为 Spark 为单个 Hive 分区写入许多 HDFS 文件（取决于工作人员）Dremio 在查询表时失败，因为超出了 HDFS 文件的数量限制，有没有无需手动在 spark 中设置较少数量的工人来解决此问题的方法吗？（我们不想失去 spark 分布式性能和好处）。
apache-calcite - Dremio 字符集“ISO-8859-1”
在 Dremio 中运行这个简单的查询时：
SELECT 'NBC Universal – NBC News' Data
我们收到以下错误消息
Failed to encode 'NBC Universal – NBC News' in character set 'ISO-8859-1'
我们尝试使用以下 docker 命令为字符集设置 saffron 设置：
Dremio 版本是 4.1
是否有任何配置可以使 Dremio 默认字符集为 UTF-8 或 UTF16 ？
我们正在查看此线程以了解如何在 Dremio 中配置字符集。
来自 docker 日志的异常详细信息：
com.dremio.common.exceptions.UserException：无法在 com.dremio.common.exceptions.UserException$Builder.build(UserException.java:776) 的字符集“ISO-8859-1”中编码“NBC Universal – NBC News” ) ~[dremio-common-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] 在 com.dremio.exec.planner.sql.SqlExceptionHelper.coerceException(SqlExceptionHelper.java:126) ~[dremio-java:126) sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] 在 com.dremio.exec.planner.sql.handlers.query.NormalHandler.getPlan(NormalHandler.java:60) ~[dremio -sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] 在 com.dremio.exec.planner.sql.handlers.commands.HandlerToExec.plan(HandlerToExec.java:70) ~[ dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4。1.3-202001022113020736-53142377] 在 com.dremio.exec.work.foreman.AttemptManager.plan(AttemptManager.java:415) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202036 -53142377] 在 com.dremio.exec.work.foreman.AttemptManager.lambda$run$0(AttemptManager.java:324) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736 -53142377] 在 com.dremio.service.commandpool.CommandWrapper.run(CommandWrapper.java:62) ~[dremio-services-commandpool-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] .util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [na:1.8.0_232] 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [na:1.8.0_232] 在 java .lang.Thread.run(Thread.java:748) [na:1.8.0_232] 原因：org.apache.calcite.runtime.CalciteException：无法在 sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）的字符集“ISO-8859-1”中编码“NBC Universal – NBC News”~[na :1.8.0_232] 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) ~[na:1.8.0_232] 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) ~[na:1.8.0_232 ] 在 java.lang.reflect.Constructor.newInstance(Constructor.java:423) ~[na:1.8.0_232] 在 org.apache.calcite.runtime.Resources$ExInstWithCause.ex(Resources.java:463) ~[calcite -core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.runtime.Resources$ExInst.ex(Resources.java:572) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.util.NlsString.(NlsString.java:81) ~[calcite-core-1.16.0-2019090319367280585-3f7: 1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.rex.RexBuilder.makeLiteral(RexBuilder.java:887) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-276885-3f7163 ] 在 org.apache.calcite.rex.RexBuilder.makeVarCharLiteral(RexBuilder.java:1108) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 org.apache.calcite .sql2rel.SqlNodeToRexConverterImpl.convertLiteral(SqlNodeToRexConverterImpl.java:120) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] at org.elapache.calcite.sql.sql访问（SqlToRelConverter.java：4639）~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] at org.apache.calcite.sql2rel.SqlToRelConverter$Blackboard.visit(SqlToRelConverter.java:3988) -core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.sql.SqlLiteral.accept(SqlLiteral.java:533) ~[calcite-core-1.16.0- 201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] at org.apache.calcite.sql2rel.SqlToRelConverter$Blackboard.convertExpression(SqlToRelConverter.java:4552) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar ：1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.sql2rel.StandardConvertletTable$14.convertCall(StandardConvertletTable.java:292) ~[calcite-core-1.16.0-201909031936280585-3f7642705085999993628050599 -3f76472] 在 org.apache。calcite.sql2rel.SqlNodeToRexConverterImpl.convertCall(SqlNodeToRexConverterImpl.java:63)~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] at org.Sqlrelel .visit(SqlToRelConverter.java:4650) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.sql2rel.SqlToRelConverter$Blackboard.visit(SqlToRelConverter java:3988) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.sql.SqlCall.accept(SqlCall.java:138) ~[calcite -core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 org.apache.calcite.sql2rel.SqlToRelConverter$Blackboard.convertExpression(SqlToRelConverter.java:4552) ~[calcite-core-1.1.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] at org.apache.calcite.sql2rel.SqlToRelConverter.convertSelectList(SqlToRelConverter.java:3831) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar :1.16.0-201909031936280585-3f76472] at org.apache.calcite.sql2rel.SqlToRelConverter.convertSelectImpl(SqlToRelConverter.java:662) ~[calcite-core-1.16.0-201909031936280585-3f764702.jar:1.31930-280590-1.316.02818590- 3f76472] 在 org.apache.calcite.sql2rel.SqlToRelConverter.convertSelect(SqlToRelConverter.java:619) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472.apache] calcite.sql2rel.SqlToRelConverter.convertQueryRecursive(SqlToRelConverter.java:3056) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] at org.apache.calcite.sql2SqlToRelConverter.convertQuery(SqlToRelConverter.java:555) ~[calcite-core-1.16.0-201909031936280585-3f76472.jar:1.16.0-201909031936280585-3f76472] 在 com.dremio.execvert.planner.sql.SqlConverter.to( .java:320) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] 在 com.dremio.exec.planner.sql.handlers.PrelTransformer.toConvertibleRelRoot(PrelTransformer.toConvertibleRelRoot(PrelTransformer.toConvertibleRelRoot) java:777) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] 在 com.dremio.exec.planner.sql.handlers.PrelTransformer.convertToRelRoot(PrelTransformer. :862) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377]0-201909031936280585-3f76472] 在 com.dremio.exec.planner.sql.SqlConverter.toConvertibleRelRoot(SqlConverter.java:320) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.113-30202070202020202020 -53142377] 在 com.dremio.exec.planner.sql.handlers.PrelTransformer.toConvertibleRelRoot(PrelTransformer.java:777) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-2020036-0221130207 53142377] 在 com.dremio.exec.planner.sql.handlers.PrelTransformer.convertToRelRoot(PrelTransformer.java:862) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113027073 ]0-201909031936280585-3f76472] 在 com.dremio.exec.planner.sql.SqlConverter.toConvertibleRelRoot(SqlConverter.java:320) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.113-30202070202020202020 -53142377] 在 com.dremio.exec.planner.sql.handlers.PrelTransformer.toConvertibleRelRoot(PrelTransformer.java:777) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-2020036-0221130207 53142377] 在 com.dremio.exec.planner.sql.handlers.PrelTransformer.convertToRelRoot(PrelTransformer.java:862) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113027073 ]planner.sql.handlers.PrelTransformer.toConvertibleRelRoot(PrelTransformer.java:777) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] at com.dremio.planner. .sql.handlers.PrelTransformer.convertToRelRoot(PrelTransformer.java:862) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377]planner.sql.handlers.PrelTransformer.toConvertibleRelRoot(PrelTransformer.java:777) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377] at com.dremio.planner. .sql.handlers.PrelTransformer.convertToRelRoot(PrelTransformer.java:862) ~[dremio-sabot-kernel-4.1.3-202001022113020736-53142377.jar:4.1.3-202001022113020736-53142377]
sql - 如何在dremio中计算每行月的最后一天？
我有一个正确转换的日期列，我想从中创建一个新列，即该月最后一天的日期。
例子：
我不知道如何在dremio中做到这一点，我试过了EXTRACT,Date_PART
没有解决方案有效。先感谢您。
python - Python 类通过传递变量声明
我尝试通过传递变量来创建一个对象，但它似乎不起作用。
我在下面放了一个简单的例子来说明我想要什么。请帮我处理这个问题。
成功地
不起作用，它传递字符串“i”而不是列表元素作为属性
完整代码我正在使用 dremio-client 这个包（https://dremio-client.readthedocs.io/en/latest/readme.html）
感谢 Pavel 的解决方案，但我有一个更复杂的问题。
wiki - 在 Dremio Wiki 中为 VDS 添加表格列和列描述
我正在尝试在 Dremio WIKI 页面中添加表格 (VDS) 列和描述。在 wiki 的编辑模式下，没有问题，它将 Column 和 Descriptions 显示为（tow column）数组。在显示模式下，它会丢失数组形式并显示附加的列和描述，中间有一个空格。
有关如何在 Dremio Wiki 中添加表格 (VDS) 描述（列和描述）的任何帮助？
python - 使用 Python 的 Dremio ODBC
在 Python 中运行此代码时出现以下错误，如果有人能就此提出建议，我将不胜感激。谢谢
dataframe = pandas.read_sql(sql,cnxn)
DatabaseError: Execution failed on sql 'SELECT * FROM train_data': ('HY000', "[HY000] [Dremio][Connector] (1040) Dremio 无法执行查询：SELECT * FROM train_data\n[30038]查询执行错误. 详细信息：[ \nVALIDATION ERROR: Table 'train_data' not found\n\nSQL Query SELECT * FROM train_data\nstartLine 1\nstartColumn 15\nendLine 1\nendColumn 24\n\n[Error Id: 24c7de0e-6e23-44c6-8cb6 -b0a110bbd2fd on user:31010]\n\n (org.apache.calcite.runtime.CalciteContextException) 从第 1 行第 15 列到第 1 行第 24 列：...[参见日志] (1040) (SQLExecDirectW)")
docker - 使用 helm 安装时“poddisruptionbudgets.policy“zk-pdb”已经存在”是什么意思？
我一直在按照本教程使用 k8s 设置 dremio：https ://www.dremio.com/tutorials/python-dremio-and-kubernetes/
尝试使用https://github.com/dremio/dremio-cloud-tools/中的图表进行安装时，我收到以下错误消息：
Error: release mean-waterbuffalo failed: poddisruptionbudgets.policy "zk-pdb" already exists
这是什么意思，应该如何解决它？
ssl - ISTIO 入口网关日志
我们已经设置了 Istio，并且我们正在使用 ISTIO 入口网关来处理入站流量。我们已经为 TCP 端口设置了 TLS。示例代码可以在这里找到。
我们还按照这个 ISTIO 指南启用了日志
我们使用 openssl 测试了 TLS 连接，它工作正常。
但是，当我们尝试从应用程序连接时，TLS 协商失败。我在这里提供了有关wireshark的更多详细信息
我们想从 ISTIO 获取有关 TLS 协商的日志……并找出失败的原因。
Istio 网关 YAML
虚拟服务
部分配置转储
通过在 Envoy conn_handler 上启用跟踪，我们可以看到以下消息：
关闭连接：未找到匹配的过滤器链
pyodbc - 如何使用pyodbc从databricks工作区中提取dremio数据？
当我在本地运行我的 python 脚本时，我可以使用 pyodbc 从 dremio 获取数据。为了使其在本地运行，我必须使用指南从以下链接安装 Windows 64 位 odbc 驱动程序。
https://www.dremio.com/drivers/
我不知道，如何在 Databricks 工作区中安装和设置它。可能正因为如此，当我尝试从 databricks 工作区运行相同的代码时，它会引发错误，
连接到dremio的代码是，
请建议我一个解决方案。