问题标签 [dremio]

我想连接两个表，其中第一个表的条目比第二个多，这样每个表的行都按顺序连接。也许一个小例子会有所帮助：

药片：

第二个表（表C）如下（实际上，更多列）：

seqNo并fid在每个表中提供由 组成的组内的排序(tid, sid, ron)，这就是我想要维护的排序。

我怎样才能从这两个表中得到类似于下表的内容？

我无法为组中的每个元素分配等级并将其用于匹配内部 a LEFT JOIN，因为在某些情况下匹配不是从组的末尾开始（例如tid=7）。另外，因为val在同一个组中可能有重复的值，我也不能盲目地匹配它，因为这可能会炸毁行数。

我一直在使用 hive-jdbc beeline 来执行我的 hive 查询，并且由于一些限制，我正在使用 dremio 来执行我的 hive 查询。而且我没有在dremio 中获得与 collect_set等效的功能。如果有人提供替代解决方案，我将不胜感激

我正在使用带有 Dremio 后端的 Superset for BI。

这很好用，除非尝试更改日期范围选择的“时间粒度”。

在 Superset 中，如果我选择不同的时间粒度，例如“day”，它会正确地创建一个 GROUP BY 对本机查询的修改，如下所示 -

但这失败了Expression 'my_table.dob' is not being grouped

如果我直接在 Dremio 中执行查询并为该列指定不同的别名，它会起作用 -

Superset 使用与原始列名相同的别名，因此动态更改日期时间粒度被破坏。我不知道为time列强制使用不同别名的方法。

有谁知道解决方法？

我读到了 Dremio 的数据反射。但看起来每次 s3 中的基础数据发生变化时，反射都会完全重新加载。由于我计划利用 Dremio 反射来预煮一些聚合，加入几个维度和事件，并且事件数据每分钟/秒都在快速增长：我不希望 Dremio 每次重新加载整个反射（预煮聚合）时间有一个新的事件。

预煮的聚合（反射）本身应该按日期/月份分区，我希望 Dremio 仅重新加载反射分区的最后 n 天，而不是刷新反射中所有 5 年或 10 年的数据。这是因为我知道对于超过 n 天的维度不会有新事件。因此，为旧数据一次又一次地重新计算所有这些聚合是没有意义的。我想要的只是重新计算过去 n 天的聚合，但将剩余数据保持原样，永远在反射中。[某种批量更新要求，但前提是反射是不可变的——我所需要的只是配置删除最后 n 个分区并仅重新加载它们的能力]

Dremio 可以做到这一点吗？

我们无法在 Dremio 中添加 Azure SQL Server 作为外部数据源。我们已禁用防火墙以允许所有访问（在 Azure SQL Server 端）连接到 Azure SQL Server，但它仍然抛出错误并且无法从 Dremio 连接。

请告知我们是否需要在从 Dremio 服务器端连接到 Azure SQL Server 的路由上配置防火墙。

错误输出：

注意：我们已检查传递的凭据是否准确，并且我们能够使用这些凭据从 SSMS 进行连接。

我使用以下命令进入了一个全新的 debian 10 环境

在容器内，我正在安装各种实用程序和工具：

然后在 /opt 目录中，我正在安装 rpm 文件最新的 dremio odbc 驱动程序，使用：

在此之后，我使用外星人将 rpm 转换为 deb，然后使用以下命令安装驱动程序：

输出 -

我可以使用以下命令确认安装：

现在为了使用 DSN 测试连接，我正在修改 /etc/odbcinst.ini 和 /etc/odbc.ini 文件，如下所示：

/etc/odbcinst.ini

/etc/odbc.ini

现在在测试连接时出现以下错误：

即使存在 libdrillodbc_sb64.so 文件，我也无法建立连接。

我还尝试授予 libdrillodbc_sb64.so 权限，但仍然再次出现相同的错误。

ldd 命令给出以下输出：

ODBC 版本：

任何人都可以让我知道我是否缺少任何东西。

我已经提到了https://community.dremio.com/t/error-install-odbc-driver-on-ubuntu-18/4655

我们正在尝试使用 Apache Arrow Flight C# 客户端连接到 dremio 服务。我们在以下链接中找不到任何工作代码示例：

https://github.com/dremio-hub/arrow-flight-client-examples

https://github.com/apache/arrow/tree/master/csharp/examples

我们尝试使用以下 c# 代码从对我们有用的箭头飞行客户端连接到 dremio：

运行上述代码时，我们遇到以下异常：

[2021-10-15T06:14:56.704Z] System.Private.CoreLib：执行函数时出现异常：ExtractData。Grpc.Net.Client: Status(StatusCode="Internal", Detail="Error starting gRPC call. HttpRequestException: The SSL connection could not be established, see inner exception. IOException: The handshake failed due to an unexpected packet format.", DebugException="System.Net.Http.HttpRequestException：无法建立 SSL 连接，请参见内部异常。[2021-10-15T06:14:56.721Z] ---> System.IO.IOException：握手失败，原因是意外的数据包格式。[2021-10-15T06:14:56.734Z] 在 System.Net.Security.SslStream.StartReadFrame(Byte[] buffer, Int32 readBytes, AsyncProtocolRequest asyncRequest) [2021-10-15T06:14:56.772Z ] 在 System.Net.Security.SslStream。

非常感谢解决此代码示例中的问题的任何帮助。

现在数据湖领域有很多中间件。他们拥有复杂的解析器，可以巧妙地将查询分解并分发到目标源。这些包括 Presto、Dremio、方解石（及其其他衍生产品 - Phoneix、Drill 等）。

有诸如 Postgres HDP 或 CData Connect 或 HA-JDBC 之类的工具可以传递但没有联合。

是否有任何联合查询工具允许调整允许将 100% 的 SQL 传递到单个源？我不知道有一个数据库可以更好地解析一些但不是所有的 SQL。

我在某处读到了有关定制 Presto/Pinot 连接器的进展，但找不到用于注册我自己的支持 jdbc 的数据源的清晰文档。

你如何在dremio中设置变量？

在sql中，通常您可以执行以下操作：

或者

这似乎不适用于 Dremio 查询。有人知道变量在dremio中是如何工作的吗？

我能够在 Docker 上获得 Dremio 的工作实例，但是，我想将数据保存在我本地的容器上。

我尝试了这篇文章中提到的方法，并制作了我自己的 docker run 查询版本，但是在运行以下命令时：

在非分离模式下运行时显示以下错误：

Dremio 正在退出。启动服务失败。java.io.IOException：路径 /opt/dremio/data 不可写。

任何帮助，将不胜感激。