问题标签 [apache-drill]

我需要将查询导出到文件。我正在尝试

但是给我一个错误

我有数据文件（在这个例子中是 json，但也可以是 avro）写在一个目录结构中，比如：

使用 spark-sql 我创建了一个临时表：

查询表效果很好，但到目前为止我无法使用目录进行修剪。

有没有办法将目录结构注册为分区（不使用 Hive）以避免在查询时扫描整个树？假设我想比较每个月的第一天的数据，并且只读取这些天的目录。

使用 Apache Drill，我可以在查询时使用目录作为谓词dir0等。是否可以使用 Spark SQL 做类似的事情？

我是 Apache Drill 的新手。

场景是这样的：

我有一个 S3 存储桶，用于放置名为 test.csv 的 csv 文件。我已经按照官方网站的说明安装了 Apache Drill。

我按照本教程：https ://drill.apache.org/blog/2014/12/09/running-sql-queries-on-amazon-s3/创建一个 S3 插件。

我启动 Drill，使用正确的“工作区”（使用：use my-s3;），但是当我尝试从 test.cav 文件中选择记录时发生错误：

未找到表 's3./test.csv'。

谁能帮我？谢谢！

如何在 Apache Drill 中设置动态查询参数。我尝试并收到错误消息说java.sql.SQLFeatureNotSupportedException：：

不支持预处理语句动态参数。

是不是真的钻不支持这样的功能，比如：

任何人都可以建议解决这个问题，如果有的话

我正在尝试使用 JAX RS 服务。我在我的 pom .xml 中添加了一些依赖项。这是pom。

当我添加此依赖项时<dependency> <groupId>org.apache.drill.exec</groupId> <artifactId>drill-jdbc-all</artifactId> <version>1.1.0</version> </dependency> ，它会因以下提到的异常而失败。我需要上面提到的 apache 演习的依赖。在删除和运行它工作顺利。

我得到的例外是：

有人可以帮忙解释一下为什么在添加特定依赖项时它会因上述异常而失败。

尝试运行 mvn 依赖树来检查 jar 中的冲突。

构建 JAXRS-JSON Maven Webapp 0.0.1-SNAPSHOT

我想通过 Java 应用程序连接到 Drill，到目前为止，我一直在尝试使用 JDBC 来执行此操作，并且我正在使用来自https://github.com/vicenteg/DrillJDBCExample的示例，但是......当我更改 DB_URL 静态变量 “jdbc：drill：zk = local”并启动应用程序我得到异常：

java.sql.SQLNonTransientConnectionException: 不支持单独使用 Drill 的 jdbc-all JDBC 驱动 Jar 文件以嵌入式模式运行 Drill。

到目前为止，我还没有找到任何解决方法。知道如何以嵌入式模式连接到 Drill 吗？到目前为止，我不想设置分布式模式。

在网络上确实没有太多关于它的内容。

任何帮助，将不胜感激！

使用 Spark 将 AsTextFile 保存到 S3 后，然后像 Hadoop 一样格式化。像这样的桶中的文件格式。

格式为 YEAR/MONTH/DATE/TIMESTAMP，数据部分为 0000 文件为 json 格式。

我配置钻取并指向我的存储桶名称

我选择存储没问题。但不知道选择和获取日期或时间或文件的数据。

我也尝试了一些事情，比如选择一个文件但没有成功：

文件样本在这里

如何从中获取数据？

我正在从其源代码构建 apache Drill 1.1.0 。我收到以下错误：

[错误] 无法在项目 Drill-java-exec 上执行目标：无法解析项目 org.apache.drill.exec:drill-java-exec:jar:1.2.0-SNAPSHOT 的依赖项：无法传输工件 net.hydromatic :foodmart-data-json:jar:0.4 from/to central ( http://repo.maven.apache.org/maven2 ): GET 请求：net/hydromatic/foodmart-data-json/0.4/foodmart-data-来自中央的 json-0.4.jar 失败：内容长度分隔的消息正文过早结束（预期：18196233；收到：17400 -> [帮助 1]

编辑：

我检查了罐子.m2/repository。它包含foodmart-data-json-0.4.jar.lastUpdated, foodmart-data-json-0.4.pom.lastUpdated, foodmart-data-json-0.4.pom, foodmart-data-json-0.4.pom.sha1, _maven.repositories. 当我foodmart-data-json-0.4.jar.lastUpdated在文本编辑器中打开时。我发现：

如何解决此错误？

apache-drill 有两个 JDBC 驱动程序：drill-jdbc&drill-jdbc-all

Maven依赖：

和

我正在使用drill-jdbc，一切正常。

但是根据 Drill 的JDBC文档，驱动程序位于：

drill-jdbc-all应该使用手段。

我对这些罐子感到困惑。这两个罐子有什么区别？

我尝试使用钻 JDBC 驱动程序以编程方式进行查询。

有用的代码部分：

cp在我拥有&dfs存储插件之前一切正常。上述查询的输出：

但是当我添加mongo为带有配置的存储插件时：

我得到以下异常：

另外，如何以编程方式添加插件配置？

编辑：蜂巢的类似行为。