问题标签 [cascading]

我正在使用 Hibernate 3.3.1，我想在人员和指定公司之间建立关系。它们应该是松散耦合的，但我想安排通过级联创建公司，而不是显式调用 saveOrUpdate(newCompany)。

我定义了以下实体：

在我的 dao 中，我正在执行以下操作：

我得到一个例外

org.hibernate.TransientObjectException：对象引用了一个未保存的瞬态实例 - 在刷新之前保存瞬态实例：consearch.model.core.Company

当使用“cascade = CascadeType.ALL”进行注释时，它可以工作，但我不想也 ccade 删除（例如，如果一个公司被删除，那么这个人不应该被删除）

我想知道在此之前没有人遇到这个问题提前感谢您帮助我。谢恩

我已经编写了级联流，它执行MapReduce包含Mapper和的流Reducer。在reduce()方法中，它抛出IllegalArgumentException. 如何处理exception？我catch block在课堂上写过我为它创建 JobConf 并将其添加到MapReduceFlow constructor.

我正在尝试Cascading在我的 Hadoop 项目中使用。我正在尝试实现Enterprise Data Workflows with Cascading书中给出的第一个示例。我已经编写了包含Cascading相关代码的 java 类，并且我有另一个build.graddle文件应该编译该 java 类并从中构建 jar 文件。

我的文件夹结构如下：

• 主文件夹

  • 不耐烦

    • 主.java
    • 构建.gradle

我的build.gradle文件如下所示：

当我gradle clean jar从命令提示符运行命令时，我收到构建成功消息。我尝试使用运行此 jar 文件

hadoop jar impatient.jar <input file path> <output file path>

命令，但它给了我Exception in thread "main" java.lang.ClassNotFoundException: impatient.Main例外。

所以我检查了 jar 文件的内容，发现那个 jar 不包含impatient/Main.class文件。

请注意，我对 gradle 一无所知。

请有人告诉我gradle脚本是否有任何问题，或者我犯了一些错误。

谢谢 ！！！

Twitter Storm 可以作为 YARN 应用程序进行管理和运行吗？此外，这样做是否明智？我希望建立一个基于 YARN 的库，在管道的隐喻中管理批处理和流式处理。例如水龙头（来源）、管道（连接器和过滤器）、水箱（批处理）和排水管（汇到 FS、数据库等）。

假设您有一个名为 ContainerType1 的实体和一个名为 Thing 的子实体，并且 ContainerType1 和 Thing 之间存在一对多关系。ContainerType1 有一组 Thing。并且说它不是 2 路关系，所以 Thing 不知道它包含在其中的对象。稍后我可能想要一个 ContainerType2 和 ContainerType3。我希望 Thing 的所有代码都被模块化，并且不知道它是容器。如果在我的客户端，我调用服务器来删除 Thing 的一个实例，我希望它级联到我的各种容器。

那么，有没有办法调用持久化或删除或任何操作，然后得到级联所触及的结果？在这种情况下，在调用删除事物时，我想说，好吧，哪些容器从它们的集合中删除了这个？我正在通过 JPA 使用 Hibernate，并且更喜欢仅 JPA 的解决方案，但我不知道您是否可以在 JPA 或 Hibernate 世界中执行此操作。这里的想法是向客户端发送一些信息，说明要刷新哪些容器，因为它们丢失了一个东西。它可能是 0..n 个容器。

更广泛地说，你能告诉 hibernate/JPA 做某事然后说，“太好了，这一切都很好而且是自动的，现在请告诉我你刚刚做了什么”？

我想知道在 cascalog 中为可能为空的字段执行外连接时指定默认值的最佳方法是什么。

在此示例中，用户和活动将是先前定义的查询，我只是希望关联活动用户信息 (?fname ?lname !days-active) 和常规用户信息 (?id ?fname ?lname)

因此，当连接发生时，如果没有 !days-active 的相应信息，它将输出 0 而不是 nil 即

代替

更新示例

示例输出看起来大致像

通过我感兴趣的过滤，我可以将 !!engaged-users 和 !!user-clicks 的字段更改为 0 而不是 null。使用多个Or谓词会起作用吗？

谁能给我一些简单的例子、链接和书籍来学习 Hadoop 级联。除了级联站点http://www.cascading.org/之外，我找不到任何好的资源

I'm using Hadoop to compute co-occurrence similarity between words. I have a file that consists of co-occurring word pairs that looks like:

I'm using a Graph based approach that treats words as nodes and co-occurring words have an edge between them. My algorithm needs to compute the degree of all nodes. I've successfully written a Map-Reduce job to compute the total degree which outputs the following:

Currently, the output is written back to a file but what I want instead is to capture the result into, say, a java.util.HashMap. I, then, want to use this HashMap in an other Reduce job to compute the final similarity.

Here are my questions:

1. Is it possible to capture results of reduce job in memory (List, Map). If so, how ?
2. Is this the best approach ? If not, How should I deal with this ?

嗨，我是级联新手，并遵循“具有级联的企业数据工作流程”一书。我检查了 hadoop 1.0.4 并下载了级联 2.1.6 。我使用带有所有 jar 文件的 netbeans IDE 设置所有内容。

代码 ：

这是错误：

Hadoop作业错误：

谁能帮我

谢谢你

Oozie 有一个名为 oozie.launcher.action.main.class 的配置属性，您可以在其中为 map-reduce 操作（或 shell 操作）传入“主类”的名称，如下所示：

但是我需要将参数传递给我的主类并且看不到这样做的方法。有任何想法吗？

我之所以问是因为我试图从 Oozie 内部启动一个级联类/流，而到目前为止我尝试过的所有选项都失败了。如果有人让 Cascading 从 Oozie 工作，请告诉我，我会发布另一个问题，特别是问这个问题。