问题标签 [dataflow]

是否有任何工具可以测量 C# 代码的以下 2 个特征（最终也完成了 ASP.Net 项目）：

扇出：一个类的外部调用数。

dataflow：模块的传出和传入数据流总数

（见： http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber= 891476）

在“TPL 数据流简介”中，Stephen Toub 在 LinkTo 下写道：“......以及如果不满足谓词应该是什么行为（例如，如果这样的消息被简单地丢弃，如果这样的消息被拒绝并提供给其他目标， ETC。）”

在某些示例中，我看到在过滤谓词之后将布尔值传递给 LinkTo 方法，并且提到了参数 discardMessages。例如，这个不错的示例Tpl Dataflow 演练中的链接无法编译：

我在 LinkTo 重载中找不到该参数。此行为是否已更改为某些默认值？

目前，我们的数据流配置文件不再提供进度百分比。它只是执行导入，然后显示所有错误。以前它会显示很好的进度。

不是主要问题，但如果能得到一些反馈会很好。

在数据流中，是否可以进行查找、插入不匹配的行、重新查找然后继续使用完整（原始）数据集？

我看不到在插入的行转到 a 之后如何获取/重新使用它们OLE DB Destination，我也看不到 aMulticast可以等到查找插入分支完成（然后将所有它们合并回来）。

如果不能在数据流中完成，我是否必须在之前的数据流任务中重复所有过滤逻辑，以便首先进行查找插入？

这可能是一个明显/已经回答的问题，但搜索后我找不到太多。

我目前正在研究 Clojure 和 Groovy GPars 中的并发数据流模型。是否有任何用纯 Java 编写的库可以让我受益？

我知道我可以导入或委托给 Clojure 或 Java，但如果可能的话，我想要一个不错的专用 Java API。

我正在测试各种方法以将大量产品从旧购物车系统导入 Magento 社区版 (1.7.0.2)。

我知道像 Magmi 这样的实用程序，但我们希望首先探索更简单的解决方案。

目前我正在寻找从我们的旧购物车中导出一个 CSV 文件，以便与 Magento 的内置导入/数据流选项一起使用。但是，在到达那里之前，我正在使用 Magento 的导出/数据流工具导出的现有 Magento 产品运行测试，并且无法让 Magento 读取和关联可配置产品的属性集/代码。

在将数据流导出缩小到数据流导入几乎成功之前，我已经尝试了所有组合（简单导出到简单导入、简单到数据流、数据流到简单、数据流到数据流）。但是，数据流导出不包括 super_attribute 字段。我尝试使用简单的导入字段键（即：“_super_products_sku”、“_super_attribute_code”和“_super_attribute_option”）手动添加它们，并且不使用前导 _underscore。

我没有成功导入属性/集；该过程没有错误地完成并创建了产品，但是没有一个可配置产品具有属性集，并且没有一个简单产品分配给它们的可配置“父级”。在 Dataflow 中，没有一个 super_ 属性可供手动映射选择，这让我怀疑这是否可能。

这是我们的标题和产品行的示例，以逗号分隔（为令人讨厌的文本墙道歉）：

small_image_label,thumbnail_label,size_waist,color,size_hat,meta_title,meta_description,custom_design,page_layout,msrp_enabled,msrp_display_actual_price_type,gift_message_available,special_price,is_recurring,meta_keyword,custom_layout_update,special_to_date,news_from_date,news_to_date,custom_design_from,custom_design_to,recurring_profile,super_products_sku,super_attribute_code,super_attribute_option admin ,base,apparel,simple,12,13,30258-XS,0,N O-Skin Short Sleeve Rash Guard Black-XS,,,,no-skin-short-sleeve-rash-guard-black-xs,no- skin-short-sleeve-rash-guard-black-xs.html,在信息栏后屏蔽,美国,29.9500,0.7000,39.9500,已启用,单独不可见,是,应税商品,XS,否 O-Skin Rash 防护。这第二层皮肤是一流的。，N O-Skin Rash 防护。这第二个皮肤是一流的。,,0.0000,0.0000,1,0,0,1,1.0000,1,0.0000,1,1,,0.0000,0,1,1,1,

从我在其他 stackoverflow 问题和 Magento 论坛中找到的内容来看，听起来上面没有理由不工作。任何能够提供一些见解的人都会感激不尽。

这个问题之前被问过，但答案非常笼统。我很想知道在静态代码分析的上下文中上下文意味着什么，特别是在 Java 中以及与术语上下文（非）敏感分析结合使用时。

例如，本文在此上下文中广泛使用了“上下文”。事实上，我还没有找到一个体面的上下文定义。

我正在编写一个 Hadoop 应用程序，但似乎我误解了 hadoop 的工作原理。我的输入文件是地图的瓦片，根据QuadTile原则命名。我需要对它们进行二次采样，并将它们拼接在一起，直到我有一个覆盖更大区域但分辨率更低的某个更高级别的图块。就像缩小谷歌地图一样。

我所做的一件事是我编写了一个映射器，它在每个（不可分割的）图块上执行，如下所示：

我的减速器看起来像这样：

正如您可能从我的代码中得出的那样，我希望 hadoop 以以下方式执行：1）映射一级的所有图块 2）进行第一次减少。在这里，我希望 Iterable 值具有四个元素：较低级别的四个子采样图块。3) 映射当前在上下文中的所有瓦片 4) 减少上下文中的所有瓦片。同样，可迭代值将有 4 个元素... 5) ... 重复... 6) 当没有更多地图时 -> 写入输出

事实证明，这是不正确的。在每个 Map 之后都会调用我的 reducer，而 Iterable 似乎从来没有超过一个元素。我试图通过假设 Iterable 将具有 2 个元素来稍微更改 reducer 代码来解决这个问题：一个子采样值和一个部分完成的高级瓦片。事实证明，这也不正确。

Can anyone tell me, or point me towards, how the flow of hadoop actually is? What should I do to make my use-case work? I hope I explained it clearly.

我正在为 java 开发一个数据流库，我想给类命名，因为它是计算机科学的习惯。例如，我有以下数据流构造：

它有 2 个输入队列，一个用于消息，一个用于 Actor（Actor 计算模型意义上的 Actor）。

每当两个队列都不为空时，获取下一条消息并将其发送给下一个actor；从队列中删除消息和参与者。

我想知道这种结构的传统术语是否存在，更好的是，是否有包含所有数据流术语的字典。

是否可以插入初始表，然后使用插入的 ID 插入到在一个数据流中的列之间具有外键约束的主表？

我是集成服务的新手，不了解这些功能

设想：

表 A - ID - DESC

表 B - ID - A_ID - DESC

这是 A_ID 是外键的地方（如果它不明显）

我可以使用这种顺序事件流创建单个数据流，还是在插入表 A 后需要创建另一个数据流以插入表 B。

谢谢