问题标签 [dataflow]

我刚刚遇到了提议的Boost::Dataflow库。这似乎是一种有趣的方法，我想知道是否还有其他类似的 C++ 替代框架，以及是否有任何相关的设计模式。我没有排除 Boost::Dataflow，我只是在寻找任何可用的替代方案，以便更好地了解域和我的选择（或者在必要时自行选择）。

在数字信号采集系统中，数据通常由一个线程推送到系统中的观察者中。

来自Wikipedia/Observer_pattern的示例：

例如，当来自例如 GUI 线程的用户操作要求数据停止流动时，您希望中​​断主体与观察者的连接，甚至一起处置观察者。

有人可能会争辩说：您应该停止数据源，并等待一个哨兵值来处理连接。但这会在系统中产生更多的延迟。

当然，如果数据泵线程刚刚询问了观察者的地址，它可能会发现它正在向被破坏的对象发送消息。

是否有人创建了一个“官方”设计模式来应对这种情况？他们不应该吗？

我正在寻找适用于 Java 的数据流/并发编程 API。
我知道有DataRush，但它不是免费的。我特别感兴趣的是多核数据处理，而不是分布式的，这排除了MapReduce或Hadoop。
有什么想法吗？
谢谢，罗洛

我的雇主是一家大型瑞士电信公司。我们有许多系统用于为不同的任务传输数据，例如性能管理、故障管理、配置管理等。

为了向“管理”（尖头发和其他）解释这些系统如何交互，我将有关数据流/格式/协议的信息收集到“数据库”（逗号分隔的劝说）中，然后为 Graphviz 生成代码（http： //www.graphviz.org/ ) 和 Yed ( http://www.yworks.com/en/products_yed_about.html ) 来可视化这些图表。

显示从我的数据库生成的这些图表起初相当有效..但是添加新的系统/数据流会导致 Graphviz 和 Yed 重新布局图表，因为这就是它们的工作方式......自然这真的让任何试图匹配的人感到困惑昨天看到的那个图，到今天显示的那个图。

您将如何显示/布局企业应用程序之间的数据流？

Pig 是一个用于处理超大文件的数据流编程环境。猪的语言叫做猪拉丁语。

有谁知道PigLatin的好参考手册？我正在寻找包含该语言所有语法和命令描述的内容。不幸的是，Pig wiki 中的 wiki 页面已损坏。

我有一个 SSIS 数据流条件拆分转换，它在应该返回 > 结果时返回 >= 结果。

从一开始...我的 SSIS 包执行一个 SQL 任务，该任务将一个表中的 max(date) 存储在具有包范围的 DateTime 类型的变量 User::max_date 中。

然后我的包继续执行一个数据流任务，其中有一个条件拆分转换，它具有条件date > @[User::max_date]。结果集始终是单行，其 DateTime 值等于 User::max_date，也就是说，如果没有添加比 max(date) 更新的行，则返回包含 max(date) 的行。这是意想不到的行为。

此外，条件拆分的另一个输出是不正确的——它是所有行，date < @[User::max_date]而不是所有行，date <= @[User::max_date]正如人们所期望的那样。

为什么会这样？

更新：

我已经弄清楚这是怎么发生的，但不知道为什么。 User::max_date正在存储 DateTime ，date我的数据流任务中的值是DT_DBTIMESTAMP. 在将它们与 a 进行比较时，DATEDIFF(..)它们仅在几毫秒或更长时间内有所不同。

所以我可以解决这个问题，但我不知道为什么会这样实现。

评论？

什么是数据流编程语言？为什么要使用它？它有什么好处吗？

有没有一种方法可以只读取文件的第一条记录，即读取头信息，以便决定是否处理文件的其余部分？

我知道使用拆分转换组件可以编写一个表达式，该表达式将根据标题中的关键字忽略除标题之外的所有行。我宁愿不走那条路，因为那会低效地读取文件中的每条记录。

具体来说，是否有脚本组件逻辑可以实现以在读取第一条记录后关闭文件并结束数据流？

是否有任何工具可以直接从 VB.NET 源代码生成数据流图和实体关系图？

我开发了一个应用程序，它接收一个广播，然后启动一个Activity，在其中Activity查询一个ContentProvider 实时从 DNS 中提取信息的应用程序。

我希望能够改组这个，而不是去：

它去：

即，如果query()没有返回任何数据，我不想错过启动 Activity，并允许广播消息正常通过。

如果query()确实返回数据，我希望Cursor将其提供给Activity，这样我就不必再去查询数据了。

反过来，它Activity有自己的用户界面，用户需要对其做出响应。

这可能吗？