问题标签 [distributed-cache]

我正在尝试在 2 个不同的作业中读取 2 个缓存文件。

job3 中的 1 个分布式缓存文件一切正常，但是当涉及 job5 时，我无法访问第二个缓存文件。从 job5 中的 job3 获取相同的分布式缓存。

为什么会这样？

我做错什么了吗？

请建议。

Hadoop中的黑白分布式文件系统和分布式缓存有什么区别？

我无法在 job.waitforcompletion(boolean) 子句中编译我的 DriverClass。它给了我一个 NoClassFoundException。如果我捕捉到异常，run 方法会抛出它期望一个 int 值的错误。我正在使用 MapReduce New API。谁能提出问题所在：

不幸的是，MSDN 文档不清楚。我想知道，如果我在缓存集群中有 3 台服务器：

缓存服务器1

缓存服务器2

缓存服务器3

那么为什么我需要在我的应用程序的 web.config 或 app.config 中指定每个服务器，如下所示：

?

如果有一个leadhost（我相信它们每个都是默认的），那么它肯定是管理/在集群中分发数据的那个吗？这意味着如果将新节点添加到集群中，那么您必须将主机条目添加到应用程序配置中，而不是引导主机能够简单地将数据分发到所有节点，因为它认为合适？

我认为您会在配置文件中仅指定主要主机，然后该主要主机将数据分布在整个集群中。

我错过了什么吗？

如何检查数据是否分布在集群中？

我想使用带有休眠的 hazelcast 检查分布式缓存功能。Hazelcast 为二级缓存提供了与休眠的集成。我们如何使用 hibernate 检查 hazelcast 分布式缓存功能。

我正在按照这里的教程使用分布式缓存。我对代码稍作改动，使其与 Hadoop2.2 兼容。

我发现loadStopWords调用该方法时，会抛出IO异常：

我确认 stop_words.txt 已复制到HDFS. 我省略了 mapper 和 reducer 代码以使其变得简单。

这是我的代码：

我正在使用以纱线模式运行的 hadoop cdf4.7。有一个 MapFile hdfs://test1:9100/user/tagdict_builder_output/part-00000 ，它有两个文件index和 data

我使用以下代码将其添加到分布式缓存：

并在设置 Mapper 时初始化一个 MapFile.Reader：</p>

但它会抛出 FileNotFoundException：

我也尝试过/user/tagdict_builder_output/part-00000作为路径，或者使用符号链接。但是这些也不起作用。如何解决这个问题？非常感谢。

我正在编写一个 MapReduce 作业来分析 Web 日志。我的代码旨在将 IP 地址映射到地理位置，为此我使用 Maxmind Geo API（https://github.com/maxmind/geoip-api-java）。我的代码有一个 LookupService 方法，该方法需要带有 ip 到位置匹配的数据库文件。我正在尝试使用分布式缓存传递此数据库文件。我尝试以两种不同的方式做到这一点

情况1：

运行从 HDFS 传递文件的作业，但它总是抛出一个错误，说“未找到文件”

或者

驱动程序类代码：

映射器类代码：

案例 2： 通过 -files 选项从本地文件系统传递文件来运行代码。错误： LookupService cl = new LookupService(database_path) 行中的空指针异常

驱动程序代码：

映射器代码：

我在所有任务跟踪器中都需要这个数据库文件来完成这项工作。有人可以建议我这样做的正确方法吗？

我正在尝试获取DistributedCache。我在两个节点上使用 Apache Hadoop 1.2.1。

我参考了Cloudera 帖子，该帖子在其他帖子中进行了简单扩展，解释了如何使用-libjars使用第三方 jar

笔记：

在我的 jar 中，我没有包含任何 jar 库。- 既不是 Hadoop 核心也不是 commons lang。

编码 ：

Mapper 类是幼稚的，它只尝试使用来自 Apache Commons 的 StringUtils（而不是 hadoop）

我使用的命令：

我得到的例外：

Cloudera 帖子提到：

但是在那条路上，我找不到 commons-lang3-3.1.jar

我错过了什么？

我正在将现有的单租户应用程序转换为多租户应用程序。分布式缓存对我来说是新的。我们有一个现有的原始本地缓存系统，它使用 .NET 缓存从现有缓存对象生成克隆对象。我一直在考虑使用 Redis。

Redis 是否可以在本地缓存和失效，除了通过网络来替代本地原始缓存的所有好处吗？或者，如果本地没有我们需要的对象，使用 Redis 分布式缓存的分层方法可能是一种理想的方法？ 我相信后者意味着在更新数据时需要对本地缓存进行过期通知，否则服务器可能有过时的不一致数据

似乎一组带有过期通知的本地缓存也可以作为分布式缓存，所以我对如何配置 Redis 以及它是否会分布在为请求提供服务的服务器或存在于它自己的集群中有点困惑.

当我说本地时，我的意思是不必通过网络获取数据。