问题标签 [apache-ranger]

我正在尝试为配置单元授权设置游侠服务，但对创建配置单元服务时需要使用的详细信息感到困惑。

我在 mysql 上有我的元存储，Ranger 有它自己的数据库 mysql。

我很困惑我需要为以下字段输入什么

我尝试使用 mysql metastore 和 Ranger DB 用户与 localhost jdbc 并得到以下错误

浏览了下面的文档，但我仍然不清楚还需要什么

https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.0/authorization-ranger/content/resource_service_configure_a_hive_service.html

我的目标是在 java 中使用 java distcp api。
使用命令行我能够执行 distcp ：

在 java 中，我使用 -skipcrccheck 和 -update 选项遇到了一些麻烦。

我得到这个例外：

当您查看代码时，顺序非常重要，因此我切换了两个选项：

我得到：

我很确定 setSyncFolder 在 DistCpOption 中设置了更新选项：

我正在使用 hadoop 2.6.4 我在两个集群之间不匹配，因为每个集群都有自己的 rangerKMS 实例。我将文件从未加密区域发送到加密区域，这在命令行中运行良好。

我已将我的 hive 引擎更改为 Tez，并希望使用 tez 运行查询，但查询仅由 hadoop 和 hive 用户执行，并且当我在直线或 Hue 中更改我的用户（user51）时查询失败。但是当 hive 引擎是 MR 时，相同的查询在 user51 上运行良好。

以下是带有错误调试日志的场景。

为所有用户工作

仅适用于 hadoop 和 hive 用户

其他用户查询失败（如 user51）

错误日志

我不知道发生了什么。任何人都可以帮忙吗？

寻找有关增量同步如何工作的一些说明。我最近将 Ranger/AD 同步配置为关闭增量同步并且用户搜索过滤器为空白。这导致来自 AD 的所有用户都被添加到 Ranger。

这只是作为一个基本案例测试，但是当在 Ambari 中为 Ranger AD 配置添加新的用户搜索过滤器并重新启动 Ranger 服务时，似乎没有进行任何更改（这是我在设置增量同步时所期望的关闭）并且所有 AD 用户仍然可见，而不仅仅是过滤器指定的用户。此时有几个问题：

1. 如果我要进入 Ranger UI 并转到用户和组菜单并手动删除所有 AD 用户和组，然后将用户搜索过滤器添加到 Ranger 配置中，然后重新启动 Ranger 会清除其余用户来自 Ranger 的用户数据库，并在 Ranger 重新启动后仅将 AD 用户留在搜索过滤器中？还有其他方法可以得到这个想要的结果吗？

2. 如果不小心从 Ranger UI 的用户和组菜单中手动删除了 unix 用户，会发生什么情况？他们会在重新启动 Ranger 后重新填充，还是我需要其他方法来修复错误？

我一直在尝试查找 Apache Ranger 的配置，我将能够通过http://localhost/ranger而不是 http:localhost:6080 访问 Ranger。

我正在使用 NGINX，下面是我为 Ranger 配置的 NGINX

我在 EC2 机器上配置了 Ranger 并将其放置在

/usr/local/游侠管理员

我在以下文件中将属性值ranger.contextName从/更新为/ranger

/usr/local/ranger-admin/conf/ranger-admin-default-site.xml

我也找不到在install.properties文件中设置上下文路径的方法。有没有办法设置上下文路径。

在 Hadoop Yarn 上，如何将事务的纱线日志 -applicationId与 Hive apache ranger 审计日志相关联？

我需要通过 API 获取当前在组（内部）中的所有用户，但是使用 Group rest API，我无法获取其中的用户。

输出：

任何指针将不胜感激。

我已经安装了具有 KERBEROS 安全性的 HDP 3.1.5。安装 Ranger Plugin 。将 hive 身份验证设置为 Ranger 后。低于错误。请提出解决方案

创建角色 userRole；错误：编译语句时出错：失败：LockException [错误 10280]：与元存储通信时出错（状态 = 42000，代码 = 10280）更改了值：hive.security.authorization.manager = org.apache.ranger.authorization.hive .authorizer.RangerHiveAuthorizerFactory

Hive 日志中的错误：

2020-03-30T10:38:08,555 错误 [json-metric-reporter]:metrics2.JsonFileMetricsReporter (:()) - 无法将临时文件 /tmp/hmetrics4237869098581745036json 重命名为 /tmp/report.json 2020-03-30T10:38 ：08,555 错误 [json-metric-reporter]：metrics2.JsonFileMetricsReporter (:()) - 重命名 java.nio.file.FileSystemException 期间出现异常：/tmp/hmetrics4237869098581745036json -> /tmp/report.json：在阳光下不允许操作。 nio.fs.UnixException.translateToIOException(UnixException.java:91) ~[?:1.8.0_212] 在 sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102) ~[?:1.8.0_212] 在 sun. nio.fs.UnixCopyFile.move(UnixCopyFile.java:396) ~[?:1.8.0_212] at sun.nio.fs.UnixFileSystemProvider.move(UnixFileSystemProvider.java:262) ~[?:1.8.0_212] at java. nio.file.Files.move(Files.java:1395) ~[?:1.8.0_212] 在 org.apache.hadoop.hive.common.metrics.metrics2.JsonFileMetricsReporter.run(JsonFileMetricsReporter.java:175) ~[hive-common-3.1.0.3.1.5.0-152.jar:3.1.0.3.1.5 .0-152]

我有一个 2.0.2 版的 3 节点分布式 Hbase 集群，并且它工作正常。在我从同一个 Ambari 安装 apache ranger 之后，我刚刚启用了 Hbase 插件，然后我立即重新启动了 HBase 两个 HBase 主机都出现了以下日志。

如果我禁用插件并且一切正常

我们有一个 Presto（版本 - 323-E.8）连接器，其中启用了 Ranger 的 CDP Hive3 集群，我可以在现有 Hive ORC 格式化表上运行选择查询，但无法在 Hive 元存储上创建或删除任何视图。它引发权限问题错误，我的管理员已从 Ranger & AD 向用户授予所有权限，并且我能够在服务器上使用同一用户从直线执行所有操作。蜂巢属性：

错误：io.prestosql.spi.PrestoException：用户不允许操作类型 CREATE_VIEW：io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1036) 处 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.java:1036) .metastore.thrift.BridgingHiveMetastore.createTable(BridgingHiveMetastore.java:184) 在 io.prestosql.plugin.hive.metastore.cache.CachingHiveMetastore.createTable(CachingHiveMetastore.java:524) 在 io.prestosql.plugin.hive.metastore.cache .CachingHiveMetastore.createTable(CachingHiveMetastore.java:524) at io.prestosql.plugin.hive.metastore.SemiTransactionalHiveMetastore$CreateTableOperation.run(SemiTransactionalHiveMetastore.java:2692) at io.prestosql.plugin.hive.metastore.SemiTransactionalHiveMetastore$Committer.executeAddTableOperations (SemiTransactionalHiveMetastore.java:1668) 在 io.prestosql。plugin.hive.metastore.SemiTransactionalHiveMetastore$Committer.access$1000(SemiTransactionalHiveMetastore.java:1282) at io.prestosql.plugin.hive.metastore.SemiTransactionalHiveMetastore.commitShared(SemiTransactionalHiveMetastore.java:1225) at io.prestosql.plugin.hive.metastore .SemiTransactionalHiveMetastore.commit(SemiTransactionalHiveMetastore.java:991) 在 io.prestosql.plugin.hive.HiveMetadata.commit(HiveMetadata.java:2408) 在 io.prestosql.plugin.hive.HiveConnector.commit(HiveConnector.java:202) 在io.prestosql.transaction.InMemoryTransactionManager$TransactionMetadata$ConnectorTransactionMetadata.commit(InMemoryTransactionManager.java:595) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 com.google.common.util.concurrent。 TrustedListenableFutureTask$TrustedFutureInterruptibleTask。在 com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:78) 的 com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:57) 运行Interruptibly(TrustedListenableFutureTask.java:125)在 io.airlift.concurrent.BoundedExecutor.drainQueue(BoundedExecutor.java:78) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java :624) 在 java.lang.Thread.run(Thread.java:748) 引起：org.apache.hadoop.hive.metastore.api.MetaException：操作类型 CREATE_VIEW 不允许用户：org.apache.hadoop 中的 XXXXX .hive.metastore.api.ThriftHiveMetastore$create_table_result$create_table_resultStandardScheme.read(ThriftHiveMetastore.java:52658) 在 org.apache.hadoop.hive。metastore.api.ThriftHiveMetastore$create_table_result$create_table_resultStandardScheme.read(ThriftHiveMetastore.java:52626) 在 org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$create_table_result.read(ThriftHiveMetastore.java:52552) 在 org.apache.thrift。 TServiceClient.receiveBase(TServiceClient.java:86) at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_create_table(ThriftHiveMetastore.java:1490) at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$ Sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 的 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 的 Client.create_table(ThriftHiveMetastore.java:1477) sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java: 43) 在 java.lang.reflect.Method.invoke(Method.java:498) 在 com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:86) 在 com.sun.proxy.$ io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51( ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java :130) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个prestosql.plugin.base.util.LoggingInvocationHandler.handleInvocation(LoggingInvocationHandler.java:60) 在 com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:86) 在 com.sun.proxy.$Proxy370.create_table(Unknown来源）在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 的 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) ) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) .prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个prestosql.plugin.base.util.LoggingInvocationHandler.handleInvocation(LoggingInvocationHandler.java:60) 在 com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:86) 在 com.sun.proxy.$Proxy370.create_table(Unknown来源）在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 的 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) ) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) .prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个LoggingInvocationHandler.handleInvocation(LoggingInvocationHandler.java:60) 在 com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:86) 在 com.sun.proxy.$Proxy370.create_table(Unknown Source) 在 io.prestosql.plugin .hive.metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin。 hive.metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore .thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个LoggingInvocationHandler.handleInvocation(LoggingInvocationHandler.java:60) 在 com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:86) 在 com.sun.proxy.$Proxy370.create_table(Unknown Source) 在 io.prestosql.plugin .hive.metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin。 hive.metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore .thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个handleInvocation(LoggingInvocationHandler.java:60) at com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:86) at com.sun.proxy.$Proxy370.create_table(Unknown Source) at io.prestosql.plugin.hive .metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin.hive。 metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift .ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个handleInvocation(LoggingInvocationHandler.java:60) at com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:86) at com.sun.proxy.$Proxy370.create_table(Unknown Source) at io.prestosql.plugin.hive .metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin.hive。 metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift .ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个在 com.sun.proxy.$Proxy370.create_table(Unknown Source) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql 调用(AbstractInvocationHandler.java:86) .plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) 在 io .prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个在 com.sun.proxy.$Proxy370.create_table(Unknown Source) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastoreClient.createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql 调用(AbstractInvocationHandler.java:86) .plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftMetastoreApiStats.lambda$wrap$0(ThriftMetastoreApiStats.java:42) 在 io .prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftMetastoreApiStats.lambda $wrap$0(ThriftMetastoreApiStats.java:42) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore. java:1022) ... 19 更多createTable(ThriftHiveMetastoreClient.java:161) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.lambda$createTable$51(ThriftHiveMetastore.java:1024) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftMetastoreApiStats.lambda $wrap$0(ThriftMetastoreApiStats.java:42) 在 io.prestosql.plugin.hive.util.RetryDriver.run(RetryDriver.java:130) 在 io.prestosql.plugin.hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore. java:1022) ... 19 更多hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个hive.metastore.thrift.ThriftHiveMetastore.createTable(ThriftHiveMetastore.java:1022) ... 还有 19 个