问题标签 [dataflow]

本质上，我是一个带有 Execute SQL 语句的 SSIS pkg，该语句根据某些表值动态编写 REPLACE 函数。(即REPLACE(REPLACE(Col1," * ","",),"@@@","")

ExecuteSQL 结果被放入变量@Cleanse

在我的派生列转换中，我试图调用 @User::Cleanse 作为表达式来替换 DataFlow 中的 Col1 的值。

结果似乎是提取 @Cleanse 的结果并将其用作字符串值，而不是将其用作 REPLACE 函数。

调试时@Cleanse 值似乎将 \ 放入字符串中，我认为这并不重要，因为它似乎将其应用于其他值而没有问题

结果是，当用完 CSV 时，这就是

Col1 中的“替换（替换（Col1”）

Col2 中的“ * ”

) 在 Col3 等中

如何让派生列转换“看到”变量作为函数，而不是字符串值？

提前谢谢了

我正在寻找一个可以可视化所有数据流的程序。我做了一个简单的例子：

有没有办法可以可视化所有数据。我找到了“Prefuse”和“Flare”的例子。但是要添加到示例中的内容太多了。不是有一个很好的程序吗？

• 当我可以将数据连接到数据库时，它是首选。所以整个过程将是自动化的。
• 当我可以折叠/取消折叠系统和应用程序流程时（例如，当我单击应用程序时，会出现箭头），它是首选。

我希望有人能帮帮忙。

我需要为 C 代码制作数据流图。数据流图是指图中的节点表示加法和乘法等操作，边表示节点之间的操作数（数据）流的图。我的目标是分析计算密集型内核的数据流图的并行性和执行时间。我使用了许多工具从 Trimaran、Oink、GCC 等 C 程序生成数据流图。在这些工具中，GCC 的 Gimple 内部表示为我提供了 SSA 中每个基本块的一些数据流分析（静态单一分配）表格。SSA 表格简化了我的分析。这是我使用 GCC 的方法：

-fdump-tree-cfg为每个函数生成一个控制流图，其中节点代表基本块，边代表控制依赖。还显示了每个基本块中的数据依赖性。但是，它没有给出每个基本块的数据流图。我需要将数据依赖可视化，以便分析每个基本块中的数据流。

举个例子，如果你应用-fdump-tree-cfg到下面的代码

你得到这个：

-fdump-tree-vcg生成格式的控制流图VCG，但不携带任何数据依赖信息。

但是，GCC 有一些限制。例如，GCC 不会为每个基本块生成可视化的数据流图。我想知道是否有任何工具可以为 C 程序生成数据流图？或者可能有一个 GCC 插件来从 Gimple 表示生成数据流图。

PS：工具应该是平台独立的，不限于特定的架构。例如，GCC 中的 Gimple 表示是独立于体系结构的。

我有从源表到目标表的数据流。为了简化问题，我会说有两个合并连接的源表和一个目标表。此外，还有一些主键可以帮助我识别每条记录

该程序包每天都在运行，如果从源表中删除一条记录，我怎么知道删除了哪一条，以便我可以在目标表中删除它？

（仅供参考~~我已经检查目标表中是否存在记录，如果存在则更新其他插入，但不知道如何查找已删除的数据）

GCC 的 Gimple internal representation (IR) 为 SSA（Static Single Assignment）形式的每个基本块提供了一些数据流分析。我想将 GCC 生成的 Gimple 文件作为输入，并为基本块生成数据流图。例如，下面的代码显示了一个由 GCC 生成的 Gimple 格式的简单基本块（使用-fdump-tree-cfg）。

在上面的代码中，可以在bb 4. 我需要可视化数据依赖关系，以便以数据流图的形式分析每个基本块中的数据流。数据流图是指图中的节点表示加法和乘法等操作，边表示节点之间的数据依赖关系的图。一种选择是编写一个解析器，它接受 Gimple 并生成一个dot文件。我想知道是否已经有这样的工具可以做到这一点。编写这样一个解析器似乎并不难，但我担心我可能会在处理很多极端情况时陷入困境。

请注意：我的谷歌搜索并没有那么富有成效，因为我发现这样的工具只生成控制流图。

首先，如果stackoverflow上已经有像我这样的问题，很抱歉，但我还没有找到它。实际上我不知道我可以使用哪些标签来搜索我需要的解决方案。

基本上，我需要一个工具/软件，它可以在整个过程中使用多个工具/操作来管理数据（对象）流。当然，现有的 BPM/工作流平台工具之一可能可以做到这一点，但它们似乎对我的要求来说太复杂了。

我有一个用 JPA/Hibernate 构建的“静态”数据模型。然后我需要更改该静态模型以便对其使用不同的处理功能。该函数可以是一些 java 类、Web 服务或外部应用程序（支持批处理模式）。之后我需要捕获这些函数的输出并进行一些可视化，绘制一些图表等。我可以假设所有这些处理函数都可以访问静态模型，并且他们可以将其更改为特定的模型，因此无需将输入传递给他们。另一方面，它们的输出应该由主要的“工作流管理器”捕获。

还有一件事，整个过程应该在没有任何用户交互的情况下自动运行（也许将来会改变，但现在看看并呈现）。在流程开始之前，管理员应该定义使用哪个“处理功能”，仅此而已。还有一件事……最好是在更改数据库状态时触发整个过程，但这并不重要，例如，我可以通过调用 Web 服务来启动它。

问题是：我应该使用现有的 BPM/Workflow 工具之一，例如 jBPM 或 Activiti，自己编写一个简单的“工作流管理器”还是使用比 jBPM/Activiti 简单得多的现有工具（有吗？） . 当然我更喜欢最简单的方法......

非常感谢您的任何反馈。

我有一个TransformManyBlock<Tin, Tout>并且在运行时添加消费者（ActionBlocks）到LinkTo(...).

1. TransformManyBlock 是否是正确的数据流块来消费元素，转换它们，然后输出（与输入相同数量的元素输出）给多个消费者（每个链接到的消费者像广播一样消费相同的元素）？我故意不选择 BroadCastBlock，因为它似乎无法像 BufferBlock 一样转换元素。

2. 我想知道如何在运行时取消链接消费者（此处为 ActionBlocks）？据我所知，LinkTo() 似乎没有提供这样的功能。

我广泛使用 TPL Dataflow 库，并且非常喜欢 R# 的 Used-By 功能。最好查看作为 ITargetBlock 目标的方法的使用 by（最有可能是操作块），并返回除任何直接方法调用之外的 ITargetBlock.Post 调用列表。同样，当您控制 ITargetBlock.Post 上的单击（转到声明）时，它应该将您直接带到操作块的目标方法，而不是 ITargetBlock 的定义。

设置动作块

向操作块发布一个新值，然后将其传递给 FuncCall 方法 - 控制单击 ab / ab.Post 应该会将您带到下面的方法。

在上述方法上调用 find 用法应该将您带到 ab.Post(NewVal)，而不是 ab 定义。

我想知道是否有任何方法可以使用 resharper 进行配置。我想通过编写自定义插件是可行的，但我认为其他人可能会遇到这个问题，并想看看是否有一种简单的方法可以首先实现这一点。

我有一个任务让我很困惑。希望你能帮助我。我正在使用一个数据流任务，它基本上是将一行插入到 sqlite 表中。我正在使用“SQL 任务”执行此操作，但不幸的是，将 guid 成功插入 sqlite 表的唯一方法是使用数据流任务将其转换为字节流。我不想使用源数据库，因为我的数据没有从一个表流向另一个表。我真的只想获取我填充的变量并将它们转换为字节流，然后我可以成功地将其插入到 sqlite 数据库中。问题是，我不能在没有源数据库的情况下使用数据流任务。

到目前为止，我的解决方法是声明一个源数据库/表和只有一列（但从不在数据流中使用它）。这工作正常，我无法使用我的预设变量将该行插入到 sqlite 中，但是每次我这样做时，我的输出日志中都会留下一条有点烦人的消息：

警告：0x80047076，SSIS.Pipeline：输出“OLE DB 源输出”(11) 和组件“OLE DB 源”(1) 上的输出列“”(117) 随后未在数据流任务中使用。删除这个未使用的输出列可以提高数据流任务的性能。

任何人都知道让这个警告不出现的好方法吗？

如何处理 Integration Services 数据流中的“SharePoint 列表源”错误？

我想测试 Sharepoint 中是否存在站点 URL，如果不存在，我想处理错误。

我正在使用 SharePoint 2010，集成服务与 Visual Studio 2008。