问题标签 [apache-drill]

我在 Eclipse 中有一个现有的 Java 项目，我希望能够解析用户输入的 SQL 语句，以便在语句中找到表名。Apache Drill 是否有可能完成这项任务，如果可以，我该怎么做？

我一直在查看 Drill 的文档，但我只能找到一种在 Eclipse 中创建函数的方法，这些函数以后可以在命令提示符中使用。但是，我想要的是一种在 Java 项目中使用某种解析函数来查找用户输入中的表名的方法。

我想为MongoDBin添加存储插件apache-drill。阅读文档后，我开始知道以编程方式我可以通过两种方式做到这一点：

1. 休息 API
2. 使用 bootstrap-storage-plugins.json 进行配置

我正在为我的java代码使用第二种方式。

我的代码的有用部分：

引导存储插件.json：

但在射击

我得到以下异常：

org.apache.calcite.sql.validate.SqlValidatorException 严重：org.apache.calcite.sql.validate.SqlValidatorException：找不到表'mongo.testDB.testCollection' 2015 年 8 月 12 日凌晨 3:47:05 org.apache.calcite .runtime.CalciteException 严重：org.apache.calcite.runtime.CalciteContextException：从第 1 行第 15 列到第 1 行第 19 列：找不到表 'mongo.testDB.testCollection' java.sql.SQLException：解析错误：从行1，第 15 列到第 1 行，第 19 列：找不到表 'mongo.testDB.testCollection'

bootstrap-storage-plugins.json在我的类路径中。我需要提供其他信息吗？

编辑：

我尝试show databases了查询，但它没有显示来自MongoDB. 它只显示：

我知道 spark 进行内存计算并且比 MapReduce 快得多。我想知道 spark 对于记录 < 10000 的效果如何？我有大量文件（每个文件有大约 10000 条记录，比如 100 列文件）进入我的 hadoop 数据平台，我需要在加载到 hbase 之前执行一些数据质量检查。

我在后端使用 MapReduce 的 hive 中进行数据质量检查。每个文件大约需要 8 分钟，这对我来说非常糟糕。火花会给我更好的表现让我说2-3分钟吗？

我知道我必须做一个板凳标记，但在我真正开始使用 spark 之前，我试图了解这里的基础知识。我记得第一次创建 RDD 将是一项开销，因为我必须为每个传入的文件创建一个新的 RDD，这将花费我一点。

我很困惑哪一个对我来说是最好的方法——火花、钻头、风暴或 Mapreduce 本身？

Progress/OpenEdge 不是 SQL 数据库，虽然它支持 SQL（通过 ODBC 接口），但它不是访问 OpenEdge 数据的自然方式。Progress 应用程序是使用“ABL”（以前称为“Progress 4gl”）构建的，并且一些 SQLish 事物（如参照完整性约束）是通过 4gl 代码中的过程逻辑实现的。如果你对学习 ABL 不是很感兴趣，这会让事情变得很困难。

有没有人成功地使用 Apache Drill ( https://drill.apache.org ) 来访问进度数据？是否有任何特别针对 Progress 和 Apache Drill 组合的指针可以分享？

我现在正在学习 apache Drill，并且想做一些调试。现在，每次更改后，我都需要重新编译整个项目。所以我只想知道，我可以将整个apache钻项目导入eclipse或IntelliJ吗？如何？我知道钻孔项目包含一些模板 java 文件，在编译时会生成许多类，在导入到 eclipse/IntelliJ 后，这还能工作吗？

我目前对 Apache Drill 的查询如下 -

我想要做的是获取我文件夹中每个 .csv 文件的 modifyTime 元数据作为这样的列 -

运行以下命令时可以找到 modifyTime 元数据

有没有办法在其当前版本 1.1 或 1.0 中实现这一点？

更新 1

我真正要寻找的是针对单个文件的 select 语句的结果集中包含的文件元数据

如果我的目录结构如下 -

我想写的查询类型 -

预期结果 -

我的笔记本电脑上安装了钻头和动物园管理员。我在笔记本电脑上启动了 HDFS，发现可以查询 HDFS 中的 csv 和 json 文件。现在我想查询位于另一台笔记本电脑中的文件。因此，我在另一台笔记本电脑上启动了 hdfs，当我给出 select * 查询时，它失败了（尽管我可以show files毫无问题地执行查询）。

我得到的错误在保管箱链接中：

https://www.dropbox.com/s/5bgyw4jetweczoj/drill.log?dl=0

两台运行 Ubuntu 的笔记本电脑

阿帕奇钻版本：1.1.0

我有以下问题：

1）是否可以在hadoop集群外的机器上运行drill并查询集群中的hdfs文件？

2）如果是，是否需要额外的配置更改？

我有一个 RDBMS，它是 MySQL 和几个 Excel 文件。

我需要查询 RDBMS 和 Excel 文件，我遇到了 Apache Drill。

我了解 Apache Drill 允许我在 Excel 等无模式数据源上构建 ANSI SQL 查询。

问题，如果我需要同时查询Excel文件和RDBMS数据源怎么办？

我可以使用 Apache Drill 吗？

如果没有，我能用什么？

如果我更喜欢使用 Apache Drill，那么我必须采取哪些变通方法才能让 Apache Drill 与 RDBMS 一起工作？

Apache Drill 如何在 Hive 之上工作？它是执行 MapReduce 来查询，还是类似于 Tez 的工作方式？谢谢。

是否有任何性能基准（真正的）可以比较 Stinger、Impala 和 Drill？此外，这是首选 - 我的用例将主要针对 Hive 之上的临时交互式查询。谢谢。