问题标签 [spring-data-hadoop]

我正在使用 spring-boot 和 spring-boot-yarn 将纱线应用程序提交到集群。

我的用例接近本教程https://github.com/spring-guides/gs-yarn-basic中描述的用例。

唯一的区别是我的“客户端”应该是一个 Web 应用程序，并在发出 Web 请求时提交纱线作业。

我遇到的问题是对“客户端”网络应用程序的网络请求提供了我需要传递给纱线作业的参数。

在上述教程中，参数作为命令行参数传递给 application.yml 中指定的 appmaster / 容器。在我的情况下，这种方法不起作用，因为每个纱线作业都有一组不同的参数。

有没有办法将动态参数传递给纱线作业，而无需在 application.yml 中硬编码它们？

有谁知道在 HBase 数据库和 Android 之间进行通信的最佳方法是什么？

基本上我想从我的 Android 应用程序到 HBase 表执行以下操作：

我自己做了一些研究。

1. HBase 休息 API

   我发现这个 api 的功能非常有限。我想从一个表中访问多行。此 api 只允许选择单行。此外，也许没有查询支持和更少的文档肯定不会让我使用这个 api。而且我不想直接公开数据库。

2. 春季数据Hadoop

   坦率地说，我对 Spring 并不熟悉。我读到它支持 HBaseTemplate。有没有人将它与 HBase 一起使用并将其公开为 web api。

3. HBase JAVA 客户端 API

   我相信Spring data Hadoop比这更灵活。

所以我相信2.是要走的路。

有没有人尝试过不同的东西，更酷更简单。

编辑：

我已经解决了我的问题。我使用 Spring-data-Hadoop 创建了一个 RESTFUL Web 服务。

我正在使用 springDistCp在 hdfs 中复制文件。我的代码看起来像这样

在这种情况下，例如我想将test.txt文件从一个publish文件夹复制到另一个文件publish2夹。无论 publish2 文件夹是否存在，最终发生的是 distcp 创建一个名为的文件夹publish2/test.txt，然后在该文件夹中复制该test.txt文件。所以它最终成为publish2/test.txt/test.txt

如果我直接使用 hadoop distcp，我看不到这个问题。知道为什么会这样。

我在这里关注spring hadoop示例，并尝试在mapReduce项目下运行它：

我收到了这个错误：

我可以运行hadoop命令，例如：hdfs dfs -ls , hdfs dfs -put....,我也可以访问：http://localhost:50070/dfshealth.html#tab-datanode

但是为什么会发生这个异常呢？

我是 Hbase 的新手，我想继续使用 spring 解决方案，hBaseTemplate 来访问 HBase。但是我测试了很多次，并且永远无法成功。这就是我所做的。我使用的示例是： https ://github.com/spring-projects/spring-data-book/tree/master/hadoop/hbase

我正在使用最新的稳定 HBase 版本，版本 1.0.1.1 当我启动 UserApp 时，我收到此错误：

所以我用谷歌搜索这个错误：不是主机：端口对：PBUF

检查POM文件，

人们说这是因为版本与客户端和服务器不同。所以我下载了 hbaseServer 0.92.1，启动 HBaseServer 然后再次启动项目，现在错误是：

即使我使用的是 Hbase Shell，它也会抛出很多异常，所以我放弃了旧版本的 hBase 服务器。

我尝试在 POM 中使用相同的 hBaseClient 来匹配最新的 HBase 服务器 1.0.1.1，但它要么是 jar 不可用错误，要么是其他一些主要的次要版本异常。

有这样经验的人可以告诉我你是如何修复它并使用 hbaseTemplate 与最新的稳定 hBaseBuild 一起工作的吗？你如何配置spring项目等？你能告诉我你的工作解决方案吗？

非常感谢。

连接字符串：这是示例中使用的上下文：

我试图将hadoop依赖更改为：

现在 PBUF 错误消失了，相反，我遇到了这个错误：

官方文档注明“Spring for Apache Hadoop 2.2 GA”只支持CDH 5.3.3

有没有办法为 CDH 5.4.X 使用“spring data hadoop”或者我必须等待下一个版本？2.3 版本会支持 CDH 5.4.x 吗？

编辑：

我已经 使用 Cloudera quick start VM cdh 5.4.2完成了这个 hbase示例和这个 spring boot示例。所以我想如果你只是想在 CDH 5.4.X 中使用 Hbase 或 hadoop shell，“Spring for Apache Hadoop 2.2 GA”可以满足你。如果没有，请看下面 Thomas Risberg 的回答。

我在 Hbase 示例中使用的库是：

我在 Spring Boot 示例中使用的库是：

是否有示例项目显示如何在 spring boot 中使用 hbase？我读了这个链接How to use hbase with Spring Boot using Java instead of XML? . 但说明不够详细。

我为 CDH 5.3.x 使用 QuickStart VM

我尝试为 hbase 实现这个 spring hadoop 示例

来自主机的示例将连接到 VM 中的 Hbase，以创建表、添加数据、读取数据。

在我的 pom 中我使用

我的 hbase.propertise 文件：

我的应用程序上下文.xml：

运行示例时，我得到了这个异常：

有人可以帮我解决这个异常吗？

JavaConfig 支持的当前状态是什么？正如我所见，可以通过这种方式设置 Hadoop 配置：http: //docs.spring.io/spring-hadoop/docs/2.2.0.RELEASE/reference/html/springandhadoop-config.html#using-the-spring -for-apache-hadoop-javaconfig。但是作业、作业运行器、Hive 和 HBase 配置呢？它是否已经以某种方式支持？是否计划在未来的某个版本中发布？最后，就目前而言，使用 Spring Hadoop 配置 Hadoop 的最佳实践是什么？

我有一个带有示例记录的 hbase 表，如下所示：

当我试图根据时间戳提取行值时，我迷路了。我正在使用spring data hadoop. 我只能使用以下代码获取所有记录：

如何应用过滤器以便能够在 timestamp 内获取记录[1434300763147,1534300763142]。