问题标签 [impala]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
7059 浏览

hadoop - 带有制表符分隔值和字段名称的 Impala 外部表

我在 HDFS 中有一些数据,我想创建一个外部表并通过 Impala 进行查询。数据是制表符分隔的,但也包含字段名称。示例数据:

我知道如何创建表格并指定数据是制表符分隔的,但是有没有办法处理数据中的字段?

0 投票
1 回答
807 浏览

hadoop - 在 cloudera impala 1.2.3 中使用 date_sub() udf 从视图中查询时出现连接重置错误

我写了一个查询来在 Impala 中创建一个视图。该视图包含一个字段 record_date,它是格式为 yyyy-MM-dd hh:mm:ss 的字符串数据类型。在尝试执行使用 date_sub('2014-01-30 00:00:00',1) 提取先前日期记录的查询时,我收到如下错误:

错误:与 impalad 通信时出错:TSocket 读取 0 个字节。

如果我尝试对创建的表而不是视图执行相同的查询,我将正确获得输出。

任何帮助表示赞赏。

谢谢

0 投票
0 回答
376 浏览

hadoop - EMR 上的 Impala 无法连接到远程元存储

我正在尝试在 Amazon EMR 上使用 Impala。我可以用 hive 读取 S3 数据。但我不能用 impala-shell。我试过'无效元数据'。远程元存储在 RDS 中。但 Impala 可能会在 EMR 主节点上使用元存储。如何将远程 Metastore 与 impala 一起使用?

我像这样使用 Amazon EMR 命令行界面启动了 EMR。

hive-site.xml 是这样的。这与http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-dev-create-metastore-outside.html相同

0 投票
2 回答
523 浏览

impala - impala 是否适用于嵌套的 avro 结构?

假设我有以下内容:

这是否可以加载到 Impala 中并且可以在无需指定架构的情况下进行查询?还是必须是没有列表/嵌套结构的“平面” avro 模式?

0 投票
1 回答
178 浏览

hadoop - 是否可以在 Hadoop 1 中使用 Impala(没有 YARN)?

我在 Hadoop 1 中看到我们可以使用的唯一范例是 mapreduce。如果您想使用其他范例(例如 spark),则必须使用 Hadoop 2.0 和 YARN。

但我有一个与 Impala 有关的问题。是否可以在没有 YARN 的情况下使用 Impala?

谢谢。

0 投票
1 回答
52 浏览

sql - 如何将sql表中定义的规则应用到其他表

好的,我有一个表,其中包含一组用户定义的规则,可以对项目进行分类

然后我有一个这样的团队列表:

我需要的是某种类型的 SQL 命令,它可以将两者结合起来,告诉我哪些团队在哪个班级。

我不知道如何正确加入表格,所以我得到了类似的东西

我提前感谢任何帮助。

另请注意,我实际上使用的是有限的 SQL 命令集(cloudera impala),所以越简单越好。

0 投票
1 回答
1180 浏览

cloudera - HCatalog 和 Impala 迭代

有没有办法使用 WebHcat 提交 Impala 查询?据我了解,Impala 使用与 Hive 相同的元存储,并且 HCatalog 提供对该元存储的统一访问。

0 投票
4 回答
3049 浏览

xml - Impala 可以查询存储在 Hadoop/HDFS 中的 XML 文件吗

我正在研究 Hadoop/Impala 组合是否能满足我的归档、批处理和实时即席查询要求。

我们将把 XML 文件(格式良好并符合我们自己的 XSD 模式)持久化到 Hadoop 中,并使用 MapReduce 处理日终批处理查询等。对于需要低延迟和相对高性能的临时用户查询和应用程序查询,我们'正在考虑 Impala。

我想不通的是 Impala 将如何理解 XML 文件的结构以便它可以有效地查询。Impala 能否用于以有意义的方式跨 XML 文档进行查询?

提前致谢。

0 投票
1 回答
577 浏览

hadoop - 使用 LDAP 配置 Impala

我正在使用 CDH 4.5。我手动安装了 Impala(没有 Cloudera Manager)。我已经使用 Impala 配置了 LDAP(使用http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_ldap.html中的说明)。

我已将 ldap_uri 添加到 /etc/default/impala 文件中。但是如何配置 ldap 绑定用户名呢?

使用当前配置,如果我启动 impala shell,我可以使用 ldap 绑定用户名登录。但是如何使用 AD 中的实际用户登录?我需要配置 ldap 绑定用户名和/或 ldap 密码,以便 impala 使用绑定用户名自动连接,当我启动 impala shell 时,我可以使用实际用户名进行连接。

谢谢。

0 投票
2 回答
656 浏览

java - 从 Tomcat 查询 Impala 抛出 Invalid URL 异常

我正在尝试连接到 Impala 并从我的 Web 应用程序运行查询。这是我的jsp代码:

这是我在浏览器中遇到的错误:

我正在使用 CDH4 和 Tomcat7。我已经和它摔跤了半天了。我错过了什么?