问题标签 [hdp]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
319 浏览

azure - Apache Knox 与 Azure(HDP、OIDC)的集成

您好我正在尝试将 Azure 用作 HDP 集群中 Apache Knox 的 OIDC。

我的环境:

  • Hortonworks Cloudbreak 2.9.1
  • HDP 3.1.4.0-315
  • 安巴里 2.7.4.0
  • 阿帕奇诺克斯 1.0.0
  • 天蓝色

这是我的knoxsso.xml拓扑:

这是我的集群拓扑(default.xml):

添加到 Azure -> AAD -> 应用程序 -> 身份验证 -> 重定向 URI:

所以我试图在浏览器中打开

它将我重定向到https://login.microsoftonline.com/ ...并要求输入用户名和密码,这是我所期望的。但是登录成功后,我得到一个错误:

部分登录 url 包含重定向 url:

我究竟做错了什么?

0 投票
0 回答
212 浏览

linux - 在 ambari 集群中使用不同操作系统版本时如何禁用脚本 os_check_type.py

主要问题 - 在 ambari/HDP 集群中使用不同的操作系统版本(如 RHEL 7.0 和 RHEL 7.2/7.5)

在阅读了一些帖子后

https://community.cloudera.com/t5/Support-Questions/How-to-register-host-with-different-OS-to-Ambari/mp/151089

https://community.cloudera.com/t5/Support-Questions/HDP-Support-for-mix-of-OS-Releases-within-a-cluster/mp/97315

讨论了在集群中使用不同的 OS RHEL 版本

我看到了关于禁用脚本的解决方案:

但不清楚如何禁用它?

例如,我理解的一个选项是将脚本中的执行删除为

但不确定这是不是这个意思!

0 投票
1 回答
883 浏览

apache-spark - SPARK Application + HDFS + User Airflow 不是 inode=alapati 的所有者

我们在 Hadoop 集群上运行 spark 应用程序(HDP 版本 - 来自 Hortonworks 的 2.6.5)。

从日志中我们可以看到以下诊断

日志中没有清楚地提供我们需要搜索的内容HDFS才能找到我们获得权限被拒绝的原因。

0 投票
1 回答
347 浏览

hadoop - Hive 压缩不会自动触发 - HDP_2.6.5

我在 hive 中创建了一个表来测试压缩,

截图 1

在屏幕截图中,我们可以看到创建了许多 delta 目录(大约 12 个文件)。

压缩是自动启动的,但它没有运行或正在压缩 delta 目录。以下是我们在 hive 中设置的属性。

在屏幕截图 2 中,我们可以看到压缩状态已启动但已超过一天未执行。我们如何使压缩工作?我们需要设置任何其他属性吗?

截图2

0 投票
1 回答
2372 浏览

apache-kafka - kafka + 此服务器不是该主题分区的领导者 + kafka 生产者

server.log我们从每台kafka 机器中得到很多错误3(我们3在集群中有 kafka)

据我了解,每个主题都由一个或多个经纪人提供服务 - 一个是领导者,其余经纪人是追随者。

生产者需要向领导者代理发送新消息,领导者代理在内部将数据复制到所有追随者。

我假设您的生产者客户端没有连接到正确的代理,它连接到跟随者而不是领导者,并且该跟随者拒绝您的发送请求。

所以我的问题是 - 如何配置生产者配置以避免这些错误?

0 投票
2 回答
13518 浏览

yarnpkg - 纱线和纱线安装有什么区别?

我正在尝试使用 Helium 在 Apache Zeppelin 上安装一个附加插件。Helium 用于下载此软件包的安装命令如下:

安装版本:

cmd 如何识别它是 yarn 还是 yarn install ?

0 投票
0 回答
39 浏览

apache-zeppelin - Apache zeppelin - 如何按顺序安排笔记本?

我是 Apache zeppelin 的新手。有人可以帮助我如何创建 zeppelin 笔记本的工作流程。

0 投票
0 回答
1691 浏览

authentication - HiveServer2 身份验证:HTTP 错误代码 401

最近,我们在 HDP 生产集群中的 HiveServe2 上部署了 LDAP 身份验证。

许多用户抱怨他们随机收到以下错误:

[代码:0,SQL 状态:08S01] org.apache.thrift.transport.TTransportException:HTTP 响应代码:401

谁能给我一个关于如何解决它的提示?我们没有 Knox 或 Kerberos 设置。

我浏览了日志,这个问题似乎是暂时的,但很烦人。如果我们尝试重新运行几次代码,它最终会成功运行。

0 投票
0 回答
975 浏览

cmd - 无法在 bash/cmd 中从 Windows 10 启动到 kerberos 服务器 rhel 7

我想访问使用 kerberos 保护的服务器我已经尝试了一些类似的步骤来在 Windows 中配置 kerberos 客户端,例如:https://mapr.com/docs/61/Impala/configuring_kerberos_authentication_for_windows.htmlhttps://www.simba.com/products/Hive/doc/ODBC_InstallGuide/win/content/odbc/hi/kerberos.htm

  1. 我已经安装了 MIT Kerberos(用于 Windows 客户端)
  2. 我已经在 (e:\kerberized\temp\krb5_cc_cache
  3. 我尝试在 C:\ProgramData\MIT\Kerberos5 中配置 krb5.ini,如下所示

    /li>
  4. 然后我在 hosts 文件中进行了配置,如下所示

    /li>
  5. 然后我们尝试

    但它返回

kinit:在获取初始凭据时找不到领域“DCDMS.LOC”的 KDC

  1. 然后我们尝试

    /li>

它返回

kinit:无法确定主机的领域(主要主机/.......)

有没有遗漏的步骤?

注意:windows中的krb5.ini是从linux客户端下载的,成功访问了kerberos保护的服务器

-谢谢-

0 投票
1 回答
607 浏览

document - 如何使用 models.hdpmodel 获取文档主题 – gensim 中的分层狄利克雷过程

我只是研究 gensim 进行主题建模。当我使用

结果 lda_model 有两个函数:get_topics() 和 get_document_topics()。我可以通过他们找到主题词和文档主题。但是,我想尝试:

我只能在结果中找到 get_topics(),没有 get_document_topics() 之类的东西。所以我找不到文档和主题的关系。但它应该在某个地方。我从https://radimrehurek.com/gensim/models/hdpmodel.html阅读了一些说明。但我没有找到任何(也许我错过了什么?)。那么 hdp 模型中是否有一个函数,就像 lda 模型中的 get_document_topics() 一样?