问题标签 [hue]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1826 浏览

xml - 为什么动态字段不像 solr 中的普通字段(特别是在 Hue 中查询和显示时)?

在 Hue 和 Solr 中,动态字段都会导致问题。在 Hue 中,存储为动态字段的数据拒绝出现在默认 Solr 搜索中,该搜索显示来自导入集合的所有可用数据。它也无法搜索 text_general 类型并被索引和存储的数据。在 Solr 中,即使架构设置如下所示,动态字段似乎也没有被索引:

这些设置与常规字段“名称”完全相同,该字段可进行令牌搜索并出现在 Hue 中的 Solr 搜索中。

我的目标是使用标签和属性名称作为索引中的字段名称,这些值被索引。这在 solr 中有效,当我使用基本查询“start:star”时,我可以看到结果

末尾带有 _t 的所有内容都被称为动态字段值,并且它之前的名称是标签中的名称。唯一可部分搜索的字段是名称字段。如果我在查询中搜索“43”,我将得到这个和其他“名称”中有 43 的文档。但是,如果我从 Police_precinct_t 字段中搜索单词“Precinct”,我的搜索将不会返回任何内容。所有这些都在 Solr 管理窗口中,通过转到http://HOST:8983/solr.

在顺化,我的信息更稀少。转到 Solr 搜索面板并执行默认的空白搜索会返回 Solr 数据库中所有数据的第一页。

第一个值是版本,第二个是id,下一个是我用来测试Hue中是否只有定义的字段的名称值,这似乎是这种情况。动态字段数据甚至不会像在 Solr 管理面板中那样显示在 Hue 中,但我可以像在 Solr 查询窗口中那样搜索数据。如果我输入“borough_t:QUEENS”,我会在 Hue 和 Solr Query 中获得该确切字段和值匹配的所有结果。这不允许进行令牌匹配,并且与声明的动态字段的预期行为或其上面给出的属性不匹配。我正在使用集合 1 中 Solr 提供的示例 schema.xml。我已检查以确保没有任何其他动态字段与 glob "*_t" 发生冲突并在该字段时否定或出错

Solr 使用起来非常简单,并且通过一些阅读可以理解,但我似乎无法找到为什么 solr 拒绝按预期工作的答案。我正在使用 SolrJ 将我的文件索引到 Solr,然后我在 Hue (2.5) 中使用 Solr 管理面板和 Solr Search 与索引数据进行交互。

我从NYC Open Data Site提取的 XML 数据示例将无法正确格式化,但如果您真的感兴趣,可以查找 Firehouse Location 和 Graffiti Location 数据并导出 xml。这就是我要放入 Solr 的数据。我可以看到的解决方案似乎是编写硬编码解释代码,将每个标签值分配给具有 text_general 设置的确切字段,或者动态创建字段,这与动态字段似乎没有太大区别。我很想弄清楚如何让动态字段按我的预期工作。

先感谢您。

0 投票
0 回答
368 浏览

apache-pig - 运行某些猪脚本时,HUE UI 不显示进度,并且无法停止任务

奇怪的是,对于某些猪脚本,HUE UI 在运行时不显示“进度”。它只显示“没有可用的日志”。没有进度条(黄色、绿色或红色)。对不起,我是新人,我不能发布屏幕截图。

该脚本就像加载一个表一样简单,仅此而已。

而且,脚本无法停止。在停止方块被击中后,屏幕永远保持不变。

很奇怪。任何想法?谢谢。

0 投票
1 回答
991 浏览

hadoop - 像 Hue 的 .hiverc

我希望能够配置 hue/hive 以添加一些自定义 jar 文件并创建一些 UDF,这样用户就不必每次都这样做。

理想情况下,我希望可能有一个类似于 Hive CLI 的“ .hiverc”文件的功能,我可以在其中简单地放置一些 HQL 语句来完成所有这些工作。有谁知道Hue有这个功能吗?看起来它没有使用该文件$HIVE_HOME/conf/.hiverc

或者,如果我可以分别处理自定义 jar 文件和 UDF,那也可以。例如,我想我可以把罐子$HADOOP_HOME/lib放在所有的任务跟踪器上,也许也可以放在 Hue 的类路径上。不确定,但我认为这不会太难......

但这仍然留下了 UDF。似乎我可能能够修改 Hive 源代码(org.apache.hadoop.hive.ql.exec.FunctionRegistry可能)并编译 Hive 的自定义版本,但如果可能的话,我真的宁愿不去那个兔子洞。

0 投票
2 回答
38 浏览

hadoop - 无法执行大于 10Kb 的数据

我在服务器上安装了 Hadoop 1.3。还安装了 Ambari,允许详细查看系统。我已经安装了 Hue 并且一切正常,但是我有一个只能处理非常小的数据 (2Kb) 的猪脚本,当我尝试将数据的大小增加到 > 10Kb 时(我重复了数据以查看这是否是问题)它错误地说:

如果有人可以提供帮助,那就太好了。我有一种感觉,这是我必须更改的 mapred 中的配置,但我尝试过的似乎没有做任何事情,因此我很抱歉。

谢谢

0 投票
2 回答
3318 浏览

python - 使用 Python 访问 Hive (Hiveserver2)

我的整个目标是像每个人在 Python 中使用 MySQLdb 操作 sqldb 一样操作 Hive。

  • hue shell:我在hue shell中查询Hive表没有问题,但是,hue shell在某种程度上是一个基于python的包装器,与简单的python相比,添加了很多配置。例如,添加了大量的sys.pathand os.environ,即使我在打开 Python 时复制了完全相同的路径和环境变量,由于某些错误,它仍然无法正常工作AttributeError: 'ConfigSection' object has no attribute 'HUE_PRINCIPAL'

  • 我认为这里的方法仅适用于 hiveserver1。从这里开始的对话一直在谈论通过节俭生成客户端。我在节俭工作方面的经验为零,在潜入节俭之前,我想知道我是不是走错路了。

任何帮助将不胜感激!

0 投票
1 回答
878 浏览

hadoop - 从虚拟集群转发 Apache Hue 端口?

我正在使用 Apache Hue 来管理虚拟 Hadoop 集群。虚拟集群使用 Vagrant 创建并安装 Cloudera 管理工具。设置是 1 个主设备、3 个从设备和 1 个客户端,客户端运行 Hue 服务器。

通过 Vagrant 文件将端口 7180 从主服务器转发到本地主机(NAT 网络) - 所以我可以在 localhost:7180 访问管理器 - 小菜一碟。

在客户端上,我有端口 8888(Hue,NAT 网络)通过 Vagrant 文件转发到 localhost。我仍然只能通过 VM 的 IP(仅主机网络)或主机名(添加到主机名文件)访问 Hue。

是否需要另一个配置步骤才能让 Hue 服务器侦听正确的端口或正确的地址?

Host 是 OS X,Guest 是 Ubuntu Precise,Manager 是 Cloudera。

0 投票
2 回答
1630 浏览

apache-pig - 在 Cloudera Hue 中为 Oozie(调用 PIG 脚本)配置正确的端口

我是 CDH4 Oozie 工作流编辑器的新手。在尝试从 Oozie 工作流编辑器调用猪脚本时,我收到以下错误。

看起来 Oozie 正在将作业提交到 Yarn 端口 (8032)。我希望它提交到 8021(MR jobtracker)端口。有人可以帮我确定在哪里设置工作跟踪器 URL 或端口,以便 oozie 选择正确的(使用 Hue 或 Cloudera 管理器)。

以前我尝试过以下方法,但没有一个有帮助

  1. 修改了 workflow.xml 文件 /user/hue/oozie/workspaces/../workflow.xml 文件。但是,当我从工作流编辑器提交作业时,它会被覆盖。

  2. 在 cloudera Manager --> oozie --> configuration --> Oozie Server (advanced) --> Oozie Server Configuration Safety Valve for oozie-site.xml 属性我设置以下 -

    oozie.service.HadoopAccessorService.jobTracker.whitelist mymachine:8021

并重新启动 oozie 服务。3. 在配置猪任务时试图覆盖“jobTracker”属性。这在工作流文件中显示如下,但它不会生效(或不会覆盖)并且仍然使用 8032 端口。

我正在使用 CDH4 版本。

感谢您调查我的问题。

0 投票
1 回答
439 浏览

hadoop - Hadoop JobTracker UI 托管

我们有一个小型 Hadoop 集群,其中 JobTracker 被配置为动态的(从一个节点移动到另一个节点)。我们希望通过通用 WebUI(Hadoop MapReduce Job Tracker)而不是通过命令行,使数据、日志文件和交互更加公开可用。
实现思路是让 hadoop 集群中的所有节点都打开其 Web 端口以进行出站,并为所有节点创建一个公共 DNS 别名,以便对 JobTracker 节点进行持续引用。这是最佳做法吗?还对安装最终用户可以访问的Apache Hue ( http://www.gethue.com )等前端插件感兴趣。

我知道有一种使 JobTracker 静态的能力,这可以解决这个问题,但可能会引入其他问题 - 但我确信通过制作专用节点,它消除了一些 hadoop 预期目的和集群节点的功能。

了解有关如何从战略上最好地为管理员和最终用户部署一致且可访问的 URL 的任何见解。

0 投票
2 回答
770 浏览

hadoop - Hue unable to access Solr Collections in CDH

I am using CDH 4 and setup Hue and Solr. I have also created collection in Solr which can be accessed from Solr UI. But I am unable to see this collection in Hue.

When I checked Hue log, I saw following error:

User [hue] not defined as proxyuser

I googled it, and found that it has something to do with some proxyuser setting in hue.ini. Even after doing changes suggested, I couldn't get it working.

Please help me in resolving this issue.

Regards,

0 投票
1 回答
1477 浏览

hadoop - 无法在 hive 中创建外部表以指向 hbase

我是一名学生,试图了解所有 hadoop 的工作原理。所以,我在 15 台机器上运行 cloudera。配置很好,所有服务都是绿色的。我在 hbase 下导入了一个 mysql 12k 行,一切都很好。我想对这些数据进行查询,但我知道我不能使用 hbase。这就是为什么我想使用以下代码创建一个外部视图:

当我在控制台中运行它时,它会冻结,我必须按 ctrl-c 来取消它。在色调中,我所拥有的只是这些消息一次又一次地循环:

之后,我还有其他类似的错误:

这很奇怪,因为正如我所说,一切都运行良好,所以作为 hbase 主人......这会是 zookeeper 的错误配置吗?我进行了很多次搜索,但没有发现任何对我有帮助的东西。