问题标签 [cascading]

我有 2 张桌子。一个叫Employee，一个叫Phones，一个员工可以有多个Phone。

员工等级：

电话类：

假设我想为现有员工添加电话。我正在这样做：

鉴于 phoneSet 中的某些电话已被保留，我不确定如何合并新电话。我必须手动保留每部手机吗？一个例子将不胜感激。我研究了级联，但我似乎无法让它工作。我收到的错误是：java.lang.IllegalStateException：实体副本已分配给不同的实体。

我们正在运行 Cascading，其中 Sink Tap 被配置为存储在 Amazon S3 中，并且面临一些 FileAlreadyExistsException（请参阅 [1]）。这只是不时的（大约 100 次有 1 次）并且不可重现。

深入研究 Cascading codem，我们发现 Hfs.deleteResource() 被 BaseFlow.deleteSinksIfNotUpdate() 调用（其中包括）。顺便说一句，我们对沉默的 NPE 非常感兴趣（评论“当 fs 到达根目录时，hack to get around npe throw away”）。

从那里，我们用我们自己的 Tap 扩展了 Hfs Tap，以在 deleteResource() 方法中添加更多操作（参见 [2]），并使用直接调用 getFileSystem(conf).delete 的重试机制。

重试机制似乎带来了改进，但我们仍然有时会遇到失败（参见[3]中的示例）：听起来HDFS返回isDeleted=true，但直接询问文件夹是否存在，我们收到exists=true，应该不会发生。当流程成功时，日志还会随机显示 isDeleted true 或 false，这听起来像是返回的值无关紧要或不可信。

任何人都可以通过这样的行为带来他自己的 S3 体验：“文件夹应该被删除，但不是”？我们怀疑是 S3 问题，但它也可能出现在 Cascading 或 HDFS 中吗？

我们在 Hadoop Cloudera-cdh3u5 和 Cascading 2.0.1-wip-dev 上运行。

[1]

[2]

[3]

我有看起来像这样的数据

这些键和值看起来像

所以我想弄清楚 ClojureWerks Cassandra Cascading tap 是否已经支持所有行的操作。如您所见，超级行键、超级行和超级列都已生成（uuid、日期、时间戳等）。在我看到的示例和代码中，我被引导相信需要预先指定标识列名、列字段名、键列名和字段映射的固定名称。

在 Cassandra 支持 MapReduce 的 Hadoop 级别上，Cassandra 似乎确实支持从给定的列族中获取所有数据行。从文档中：

“Cassandra 行或行片段（即键对 + 列的 SortedMap）被输入到 Map 任务以供您的作业处理，由描述从每行获取哪些列的 SlicePredicate 指定。”

所以看起来在低级别肯定是可能的，但目前还不清楚如何完成我在级联级别上尝试做的事情。

这是否需要调整或创建现有水龙头的变体，或者可以用现有水龙头以某种方式完成？

我正在使用 MVC4/EF，我有四个级联下拉列表，我第一次就让它工作了。因此，当页面第一次呈现时，我可以选择第一个下拉列表并在第二个下拉列表中过滤结果，通过选择第二个 dropdowm，第三个 dropdwon 被过滤，第四个并基于第四个下拉列表填充编辑视图。但是，当我返回并更改第一个下拉列表中的选择时，它会过滤第二个下拉列表，但不会重置第三、第四个 dropdwon 列表和编辑部分视图。这是第一个 dropdwon 部分视图代码。

CampusUsercontrol.cshtml

索引.cshtml

请帮助我在更改第一个部分视图时如何刷新其他部分视图。

我在 scala 中使用级联 2.0，遇到了一个奇怪的编译问题

这是代码的主要部分

这是最后一行代码的错误消息

请你告诉我如何解决这个问题以及原因是什么？

运行级联代码时，有人可以帮我解决以下错误吗？当CoGroup()使用 a 连接两个数据流时会发生错误。如果将这两个数据流分别输出到接收器中，则它们很好。

我正在使用级联 2.0 和 Hadoop 0.20.2-CDH3u5。

在 map-reduce 中，我将提取输入文件名，如下所示

我怎样才能用级联做类似的事情

谢谢，

我正在使用 Hadoop 处理分布在 JVM 实例集群中的一些文件。

我正在使用 Cascading 库与 Hadoop 交互。

我想解析一个文本文件，其中记录跨越换行符并以句点终止：（。）

（我知道这太小了，没有意识到 Hadoop 的好处——我正在做一个演示）。

据我所知 - 我需要编写一个自定义InputFormat来处理这个问题。

我的问题是 - 这样做更好#：

(a) 对我的输入数据进行预处理以去除换行符，然后在每条记录的末尾插入换行符？

(b) 编写自定义 InputFormat？

# 通过“更好” - 我的意思是更少的工作和更多的惯用语。

我想为 Hadoop 创建一个并行 scanLeft（计算关联运算符的前缀和）函数（特别是烫伤；请参阅下文了解如何完成）。

给定 hdfs 文件中的一系列数字（每行一个），我想用连续偶数/奇数对的总和计算一个新序列。例如：

输入序列：

0,1,2,3,4,5,6,7,8,9,10

输出顺序：

0+1、2+3、4+5、6+7、8+9、10

IE

1,5,9,13,17,10

我认为为了做到这一点，我需要为 Hadoop 编写一个 InputFormat 和 InputSplits 类，但我不知道该怎么做。

请参见此处的第 3.3 节。以下是 Scala 中的示例算法：

我知道这可能需要进行一些优化才能与 Hadoop 很好地配合使用。我认为直接翻译这个会导致非常低效的 Hadoop 代码。例如，显然在 Hadoop 中你不能使用 IndexedSeq。我会很感激你看到的任何具体问题。不过，我认为它可能会很好地工作。

首先，对不起我的英语不好...

我有四个实体：用户、应用程序、捆绑和实体。这是它们的关系（具有级联持久性和删除，请参见下面的代码）：

• 用户1-n应用程序
• 应用程序1-n包
• 捆绑1-n实体

它工作正常。但是一个用户可以默认拥有他的两个实体，我需要直接访问它们。

所以我在用户上添加了两个字段，entity1 和 entity2，具有1-1的关系。现在我的应用程序崩溃了：

我尝试了几件事，包括在这篇文章中创建的那些，但我无法修复它。

欢迎任何帮助，在此先感谢。

编辑：我需要指出 User->Entity 关系是可选的：用户的 entity1 和 entity2 可以为空。即使它们都为空，也会发生错误。

这是我的实体定义：