问题标签 [hadoop-2.7.2]

我遵循了 Apache Hadoop 安装链接，并且可以将其与 PIG 一起安装。他们都工作正常。

以下是配置： Hadoop：2.7.2 Hive：2.1.0 机器：Ubuntu 14.04 LTS 64 位 Java：版本 9

现在我尝试根据此链接 [ https://cwiki.apache.org/confluence/display/Hive/AdminManual+Installation#AdminManualInstallation-InstallingfromaTarball]安装 Apache Hive 2.1.0 。

...并开始测试 Hive CLI 的执行，但每次它都会抛出以下错误并退出。

..但是有一个问题。如果我调用 Beeline CLI，那么它工作正常。

你能帮忙吗：Beeline CLI 和 Hive CLI 是否相同或有任何特定差异？湾。帮助在我的机器上安装/配置 Hive

我安装了一个四节点 hadoop 集群。在 hadoop Webui 中，我可以看到所有数据节点和名称节点都已启动并运行。但是当我select count(*) from table_name;在蜂巢中运行时，查询被卡住了。

我在数据节点节点管理器日志和配置单元日志中不断遇到的错误是：

我检查过的事情：

1.可以从datanode远程登录到name node。
2.可以执行hadoop put和get命令。
3.可以在hive中创建表并加载数据。

如果有人可以提出可能的解决方案，那将是很大的帮助。

问候， 兰詹

我试着跑步

sudo chown -R hduser /usr/local/hadoop/

授予 hduser 权限。但还是一样。

还尝试运行sbin/start-dfs.sh 和 sbin/start-yarn.sh这些也会导致相同的权限问题。

添加到 sudoers 后，一些其他权限被拒绝错误即将到来。

我在 ubuntu 14.10 上设置 hadoop-2.7.2 。从https://hadoop.apache.org下载的源代码没有 /etc 目录。那么我必须在哪里配置 JAVA_HOME 变量？它应该在 hadoop-2.7.2/etc/hadoop/hadoop-env.sh

Hadoop datanode 监听一个随机端口（大于 60000），即文件名和键名，我可以自定义它吗？

错误 ：

使用 jar:file:/usr/local/hive/lib/hive-common-2.1.0.jar!/hive-log4j2.properties 中的配置初始化日志记录异步：true 线程“main”中的异常 java.lang.RuntimeException：org .apache.hadoop.hive.ql.metadata.HiveException：java.lang.RuntimeException：无法在 org.apache.hadoop.hive.ql.session.SessionState 实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient。 org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:518) 在 org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java: 705) 在 org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache .hadoop.util.RunJar.main(RunJar.java:136) 原因：org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: 无法实例化 org.apache.hadoop.hive.ql .metadata.SessionHiveMetaStoreClient 在 org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:226) 在 org.apache.hadoop.hive.ql.metadata.Hive.(Hive.java:366) 在org.apache.hadoop.hive.ql.metadata.Hive.getInternal(Hive.java:290) 在 org.apache. hadoop.hive.ql.metadata.Hive.get(Hive.java:266) 在 org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:545）... 9 更多原因：java.lang.RuntimeException：无法在 org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java :1627) 在 org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:130) 在 org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.(RetryingMetaStoreClient.java:80) 在 org.apache.hadoop .hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:101) 在 org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3317) 在 org.apache.hadoop.hive.ql.metadata .Hive.getMSC(Hive.java:3356) 在 org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3336) 在 org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions （蜂巢.java：第 3590 章. 14 更多原因：在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl) 的 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 的 java.lang.reflect.InvocationTargetException .java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:526) at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1625) ... 23 更多：javax.jdo.JDOFatalInternalException：创建事务连接工厂时出错 NestedThrowables：java.lang.reflect。InvocationTargetException at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:671) 在 org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:834) 在 org.datanucleus.api.jdo.JDOPersistenceManagerFactory。在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl. java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 javax.jdo.JDOHelper$16.run(JDOHelper.java:1965) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.jdo.JDOHelper.invoke(JDOHelper.java:1960) 在 javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166) 在 javax.jdo .JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808) at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701) at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:424) at org. org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:327) 中的 org.apache.hadoop.hive.metastore 中的 apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:453)。 ObjectStore.setConf(ObjectStore.java:294) 在 org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:76) 在 org.apache.hadoop.util.ReflectionUtils。newInstance(ReflectionUtils.java:136) 在 org.apache.hadoop.hive.metastore.RawStoreProxy.(RawStoreProxy.java:58) 在 org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:67) 在org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:581) 在 org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:546) 在 org.apache。 hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:612) 在 org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:398) 在 org.apache.hadoop.hive。 metastore.RetryingHMSHandler.(RetryingHMSHandler.java:78) 在 org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:84) 在 org.apache.hadoop.hive.metastore.HiveMetaStore。newRetryingHMSHandler(HiveMetaStore.java:6396) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:236) at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.(SessionHiveMetaStoreClient.java:70) ... 28 更多原因：sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance 的 java.lang.reflect.InvocationTargetException (DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:526) 在 org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:606) 在 org.datanucleus.plugin.PluginManager。createExecutableExtension(PluginManager.java:330) 在 org.datanucleus.store.AbstractStoreManager.registerConnectionFactory(AbstractStoreManager.java:203) 在 org.datanucleus.store.AbstractStoreManager.(AbstractStoreManager.java:162) 在 org.datanucleus.store.rdbms。 RDBMSStoreManager.(RDBMSStoreManager.java:284) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) ) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:526) 在 org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:606) 在 org.datanucleus.plugin.PluginManager。createExecutableExtension(PluginManager.java:301) at org.datanucleus.NucleusContextHelper.createStoreManagerForProperties(NucleusContextHelper.java:133) at org.datanucleus.PersistenceNucleusContextImpl.initialise(PersistenceNucleusContextImpl.java:420) at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfig (JDOPersistenceManagerFactory.java:821) ... 57 更多原因：java.lang.UnsupportedClassVersionError: com/mysql/jdbc/Driver : java.lang.ClassLoader.defineClass1(Native Method) 在 java. lang.ClassLoader.defineClass(ClassLoader.java:800) at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) at java.net.URLClassLoader.defineClass(URLClassLoader.java:449) at java.net.URLClassLoader.access java.net 上的 100 美元（URLClassLoader.java:71）。URLClassLoader$1.run(URLClassLoader.java:361) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader. java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:412 ) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) 在 java.lang.Class.forName0(Native Method) 在 java.lang.Class.forName(Class.java:270) 在 org.datanucleus.ClassLoaderResolverImpl。 classOrNull(ClassLoaderResolverImpl.java:510) at org.datanucleus.ClassLoaderResolverImpl.classForName(ClassLoaderResolverImpl.java:193) at org.datanucleus.ClassLoaderResolverImpl.classForName(ClassLoaderResolverImpl.java:372) 在 org.datanucleus.store.rdbms.connectionpool.BoneCPConnectionPoolFactory.createConnectionPool(BoneCPConnectionPoolFactory.java:54) 在 org.datanucleus.loadDriver(AbstractConnectionPoolFactory.java:47) 在 org.datanucleus .store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:213) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.initialiseDataSources(ConnectionFactoryImpl.java:117) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.(ConnectionFactoryImpl.java: 82) ... 75 更多createConnectionPool(BoneCPConnectionPoolFactory.java:54) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:213) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.initialiseDataSources(ConnectionFactoryImpl.java:117) 在 org.datanucleus .store.rdbms.ConnectionFactoryImpl.(ConnectionFactoryImpl.java:82) ... 75 更多createConnectionPool(BoneCPConnectionPoolFactory.java:54) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:213) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.initialiseDataSources(ConnectionFactoryImpl.java:117) 在 org.datanucleus .store.rdbms.ConnectionFactoryImpl.(ConnectionFactoryImpl.java:82) ... 75 更多

蜂巢站点.xml

有人可以帮我理解 YARN 中的 JVM 和容器之间的关系吗？

• JVM是如何创建的，每个任务是一个JVM吗？多个任务可以同时在同一个JVM中运行吗？（我知道 ubertasking，其中许多任务（maps/reduce）可以一个接一个地在同一个 JVM 中运行）。
• 每个容器都有一个 JVM 吗？还是单个 JVM 中的多个容器？或者JVM和容器之间没有关系？
• 当资源管理器为作业分配容器时，同一个作业中的多个任务是否对在同一节点中运行的任务使用同一个容器？还是根据可用性为每个任务单独容器？

指向一些有用链接的指针也会有所帮助。

我安装了 IBM BigInsights 4.2 集群，我正在尝试创建本机纱线作业。

要在我的笔记本电脑（而不是集群）上编译 java 代码，我需要 hadoop 客户端库。

如何获取 IBM BigInsigths 4.2 (IOP) 的 hadoop java 库？

同时，我的java项目使用Maven。BigInsights 4.2 (IOP) java 库是否有 Maven 存储库？

我第一次在我的系统上安装了带有嵌入式 derby Metastore 的 hive，但它不工作。它显示了下面提到的错误。

请帮忙

我无法从 pyspark windows 执行以下命令

我已将 HADOOP_HOME 设置为 winutils 我已向 C:/tmp/hive 提供 77 权限

我仍然收到以下错误 -

在发布这个之前我已经经历了很多类似的问题，在这里感谢任何帮助