问题标签 [spring-data-hadoop]

我使用 Hadoop 2.4.x、Spring 4.0.6、Spring-Data-Hadoop 2.0.1.RELEASE-hadoop24

我只运行 jar 文件然后没有问题。但是用tomcat运行有一些错误；

我的hadoop配置如下：

并运行Tomcat 7.0.52 版本。

现在错误

org.springframework.beans.factory.BeanCreationException：创建名为“hadoopConfiguration”的bean时出错：调用init方法失败；嵌套异常是 java.lang.VerifyError: (class: com/google/common/collect/Interners, method: newWeakInterner signature: ()Lcom/google/common/collect/Interner;) 函数不兼容的参数

我正在制作一个将运行 MapReduce 作业的 Web 服务器，但是我似乎无法启动服务器。当我尝试为项目运行 jar 时，出现以下错误

这个错误后面还有很多错误，但它们都说同样的话，“协议消息标签的线路类型无效。”

这是我的 application-context.xml：

我正在使用 Hadoop 2.3.0 CDH5.1.0 和 Gradle 2.0 来构建我的项目，依赖项如下：

最后，这是我要运行的应用程序：

任何建议或帮助都会很棒，在此先感谢。

我一直在我的项目中使用 spring data hadoop，并且能够在 hadoop 1.x 中运行 distcp 作业。最近我们升级到了 hadoop 2.x，为此我将 spring-data-hadoop 升级到了 2.0.4。大多数东西仍在工作，但我遇到了 distcp 的一些问题。似乎 spring data hadoop 正在像这样调用 distcp

https://github.com/spring-projects/spring-hadoop/blob/2.0.4.RELEASE/spring-hadoop-core/src/main/java/org/springframework/data/hadoop/fs/DistCp.java# L274-L275

请注意，spring 代码正在寻找Arguments类中的内部类，Distcp但这个内部类似乎不再存在于较新的 Distcp 代码中。当我运行作业时出现此错误

在我的 pom.xml 中，我包含了 spring-data-hadoop 2.0.4.RELEASE 和 hadoop-distcp.2.2.0。

我有一个使用 spring-hadoop 的 spring 集成项目。我有一个 Hbase 模板如下，

现在，当我最后关闭应用程序和上下文时，它会抛出一个奇怪的错误，

oahhbase.client.HConnectionManager : 列表中找不到连接，无法删除（连接键=HConnectionKey{properties={hbase.zookeeper.quorum=xxx.com,xxx.com, hbase.rpc.timeout=60000, hbase .client.prefetch.limit=10，hbase.zookeeper.property.clientPort=2181，zookeeper.znode.parent=/hbase-secure，hbase.client.retries.number=35，hbase.client.pause=100}，用户名='xyz@PQR.COM'}）。可能是密钥被修改了？

据我了解，这是一个无害的错误，甚至在 Hadoop 1.x 中也被抛出

我已经迁移到 Hadoop 2.x 和 Spring-Hadoop-2.0.4 但是现在，spring 抛出了一个之前没有抛出的异常，

java.lang.Exception：在 org.apache.hadoop.hbase.client.HConnectionManager.deleteConnection(HConnectionManager.java:424) 的 org.apache.hadoop.hbase.client.HConnectionManager.deleteConnection(HConnectionManager.java:488) 处为空org.springframework.data.hadoop.hbase.HbaseConfigurationFactoryBean.destroy(HbaseConfigurationFactoryBean.java:80) 在 org.springframework.beans.factory.support.DisposableBeanAdapter.destroy(DisposableBeanAdapter.java:258) 在 org.springframework.beans.factory。 support.DefaultSingletonBeanRegistry.destroyBean(DefaultSingletonBeanRegistry.java:578) 在 org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.destroySingleton(DefaultSingletonBeanRegistry.java:554) 在 org.springframework.beans。factory.support.DefaultListableBeanFactory.destroySingleton(DefaultListableBeanFactory.java:907) at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.destroySingletons(DefaultSingletonBeanRegistry.java:523) at org.springframework.beans.factory.support.DefaultListableBeanFactory.destroySingletons( DefaultListableBeanFactory.java:914) 在 org.springframework.context.support.AbstractApplicationContext.destroyBeans(AbstractApplicationContext.java:908) 在 org.springframework.context.support.AbstractApplicationContext.doClose(AbstractApplicationContext.java:884) 在 org.springframework.context .support.AbstractApplicationContext$1.run(AbstractApplicationContext.java:804) 2015-01-22 14:58:20.168 INFO --- [Thread-11] ossconcurrent。ThreadPoolTask​​Executor：关闭 ExecutorService 2015-01-22 14:58:20.170 INFO --- [Thread-11] osscThreadPoolTask​​Scheduler：关闭 ExecutorService 'taskScheduler' 2015-01-22 14:58:20.175 INFO --- [Thread-2 ] j.LocalContainerEntityManagerFactoryBean：为持久性单元“默认”关闭 JPA EntityManagerFactory

问题，我怎样才能捕获这个错误，以便它不会显示给用户......

感谢您的任何见解。

我已经阅读了很多 spring-data-hadoop 参考文档。但是，我无法理解这个框架架构（或用法，必要）

我期望的最有用的一点是在我的本地机器上编写 map-reduce 作业以在远程集群上运行作业。（即使在 spring-data-hadoop 参考指南中，看起来也是可能的！）

事实上，我必须制作包含一些映射器、reducers 的 jar，部署（或复制）到 hdfs 上，然后将 jar 配置为分布式缓存作为类路径。

像这样

至少我可以理解，包含一些运行作业所需的类的 jar 必须部署在 hdfs 上。但我不明白为什么“spring-data-hadoop”不提供自动部署。

我阅读了纱线本地资源部分并尝试了它。但它没有用。我猜'yarn'上的mapreduce框架不支持东西（localyzer ..等）

'spring-data-hadoop'有什么好的（有用的）点吗？

我最近一直在尝试apache spark。我的问题更具体到触发火花工作。在这里，我发布了有关了解火花工作的问题。在工作变得肮脏之后，我转向了我的要求。

我有一个 REST 端点，我在其中公开 API 以触发作业，我使用 Spring4.0 进行 Rest 实现。现在继续前进，我想在 Spring 中实现 Jobs as Service，我将以编程方式提交 Job，这意味着当端点被触发时，我将使用给定的参数触发作业。我现在几乎没有设计选择。

• 类似于下面的书面作业，我需要维护几个由抽象类调用的作业可能是JobScheduler.

  /li>

• 扩展上述点具有由服务处理的多个版本的作业。

• 或者使用 Spark Job Server 来执行此操作。

首先，我想知道在这种情况下最好的解决方案是什么，执行方面和扩展方面。

注意：我正在使用来自 spark 的独立集群。请帮助。

目前jdbchdfs作业没有用于输出目录的partitionPath ，如hdfs接收器。推荐的方法是什么？我也没有看到任何 JIRA，将来会支持这样的事情的任何计划吗？

我考虑了一下并得出结论，它可以为多个执行分区创建多个文件。但是，对于大型数据集负载，我们希望根据数据中的值将输出拆分到多个目录。

如果我想创建这样的作业，我如何重用 HDFS 接收器中使用的开箱即用分区策略？任何指针将不胜感激。

这是一个关于spring-xd release 1.0.1 与maprfs 一起工作的问题，官方尚不支持。我仍然想让它工作。

所以这就是我们所做的：

1) 调整 xd-shell 和 xd-worker 和 xd-singlenode shell 脚本接受参数--hadoopDistro mapr

2) 将库添加到新目录 $XD_HOME/lib/mapr

3）运行bin/xd-singlenode --hadoopDistro mapr和shell/bin/xd-shell --hadoopDistro mapr。

通过 创建和部署流时stream create foo --definition "time | hdfs" --deploy，数据将写入 maprfs 上的文件 tmp/xd/foo/foo-1.txt.tmp。然而，在取消部署流时，会出现以下异常：

我看了一下OutputStoreObjectSupport.renameFile()函数。当 hdfs 上的文件完成后，此方法会尝试将文件 /xd/foo/foo-1.txt.tmp 重命名为 xd/foo/foo1.txt。这是相关代码：

当目标文件在 hdfs 上不存在时，maprfs 在fs.delete(toPath, false)被调用时似乎会抛出异常。然而，在这种情况下抛出异常是没有意义的。我假设其他文件系统实现的行为不同，但这是我仍然需要验证的一点。不幸的是，我找不到 MapRFileSystem.java 的源代码。这是封闭源吗？这将有助于我更好地理解这个问题。有没有人从 spring-xd 写到 maprfs 的经验？或者使用 spring-data-hadoop 重命名 maprfs 上的文件？

编辑

我设法通过一个简单的测试用例（见下文）在 spring XD 之外重现了这个问题。请注意，仅当设置了 inWritingSuffix 或 inWritingPrefix 时才会引发此异常。否则 spring-hadoop 不会尝试重命名文件。所以这对我来说仍然是某种令人不满意的解决方法：不要使用 inWritingPrefixes 和 inWritingSuffixes。

我刚开始使用 Spring 和 Hadoop。我有以下 build.gradle 工作正常：

但是，当添加

对于依赖项，我的应用程序无法再显示 JSP ...我收到错误消息：

我正在使用Tomcat 7.0.61和Eclipse Juno (version 4.2.0)。

经过一番研究，我发现我应该添加依赖项排除，但是哪些？因为我只有两个依赖项（sping mvc 和 spring data hadoop），但我不能排除其中任何一个。

我对 Gradle 也很陌生。
谢谢您的帮助。

我正在使用 Hbase 0.98.4.2.2.0.0 和 HDFS 2.6.0.2.2.0.0 运行 HDP2.2，因此我将 spring-data-hadoop 的 2.1.2.RELEASE 版本添加到我的 maven pom 文件中，但未能complie 因为“无法解析类型 org.apache.hadoop.hbase.client.Scan。它是从所需的 .class 文件中间接引用的”，所以我应该将 hbase-client 添加到 pom 文件中吗？