问题标签 [distributed-cache]

我尝试将本地文件存储在分布式缓存上。该文件存在，但我得到一个 File not found 异常

代码片段：

例外：

有任何想法吗？

有两种情况，如下所述。

第一个场景：

节点 1：192.168。69 .201

节点 2：192.168。69 .202

第二种情况：

节点 1：192.168。69 .201

节点 2：192.168。68 .203

集群在第一个场景中成功形成，但在第二个场景中没有。我使用了下面 xml 中提到的 TCP 协议：

192.168.68.201 被特定节点上的相应 IP 地址替换。

我想压缩 Ruby gem 的文件，并将它们分发到我的 EMR 集群。我还想使用一个简单的 Ruby 脚本，在 Hive Streaming 作业中引用这个 gem 中的文件。

我使用以下方法将文件和存档添加到 Hadoop 分布式缓存中：

在 mobile.rb 中，我使用下面的代码来模拟使用 gem：

当我在本地计算机上的同一目录中拥有解压缩的存档和 mobile.rb 文件时，我可以将数据流式传输到它并正常运行程序。

但是当我将文件添加到我的 Hadoop 集群时，我得到了这个错误：

当存档在分布式缓存中解压缩时，我的 mobile.rb 是否需要指向其他内容？

我正在使用 Hive 0.11。

我在 Hadoop 2.x 的新 API 中的 DistributedCache 中遇到问题，我发现有人在解决这个问题，但它并没有解决我的问题示例

这个解决方案对我不起作用因为我在尝试检索 DistributedCache 中的数据时遇到了 NullPointerException

我的配置如下：

司机

设置

在这里，当它开始创建缓冲读取器时，它会抛出 NullPointerException，这是因为context.getCacheFiles(); 始终返回 NULL。如何解决这个问题，缓存文件存储在哪里（HDFS，或本地文件系统）

据我所知，分布式缓存将文件复制到每个节点，然后映射或减少从本地文件系统读取文件。

我的问题是：有没有一种方法可以使用 Hadoop 分布式缓存将文件放入内存，以便每个 map 或 reduce 都可以直接从内存中读取文件？

我的 MapReduce 程序向每个节点分发了一个大约 1M 的 png 图片，然后每个 map 任务从分布式缓存中读取图片，并对来自地图输入的另一张图片进行一些图像处理。

我在 Debian Squeeze 上运行的两个 openvz 容器上编译了 trafficserver-4.1.2，它们位于两个不同的物理根节点上。除了集群之外，包括缓存在内的一切都运行良好。我为两个节点添加了相同的名称，如

配置为在端口 80 上运行

关注http://trafficserver.readthedocs.org/en/4.0.x/admin/cluster-howto.en.html上的文档

和

但

第二个节点没有出现。仅显示一个节点。无论其他节点是否启动，这就是它所显示的全部内容，并且 cluster.config 中没有添加任何条目。

我在 Hadoop 中有一个非常具体的问题。

我有两个文件userlist和 *raw_data*。现在 raw_data 是一个相当大的文件，而 userlist 比另一个文件要小。

我必须首先确定映射器的数量，并且我的用户列表必须分解为等于映射器数量的部分。稍后它必须被加载到分布式缓存中，它必须与用户列表进行比较并执行一些分析并将其写入减速器。

请建议。

谢谢你。

关于这个，我浏览了 Stackoverflow 上的许多页面。但我仍然很困惑。即使这是一个重复的问题或类似的问题，请回答

我想在 Pig 中将一个文件与另一个文件进行比较，并且我希望其中一个文件位于分布式缓存中，以便每个映射器都在本地拥有它。如何在 Pig 中实现它。

我们如何更新分布式缓存中的文件/文件？

例如，我在分布式缓存中有一个属性文件现在我在属性文件中添加了更多值。

选项：

1. 在旧文件中追加新值并重新启动作业。
2. 用新文件替换旧文件并重新启动作业。
3. 将新文件放在新位置并指向该位置。

以上所有选项都是正确的，为什么？

Terracota ehcache 是开源的，还是商业产品？显然，它以前不需要商业许可证，但现在需要。

来自http://ehcache.org/ -“对于需要一致分布式缓存和内存性能的应用程序，请使用 Terracotta BigMemory Max，它在扩展试用版和完整版中都可用。（Terracotta 不再主动更新 open- Terracotta 服务器阵列的源版本，也称为 Terracotta。）"

有人可以解释一下吗？我在网上发现了令人困惑的信息。