问题标签 [dataflow]

我正在 Clojure 中开发一些需要处理大量矢量数据的模拟软件（基本上源自 Java 浮点数组的偏移量，长度通常在 10-10000 范围内）。大量这些向量将需要经过各种处理步骤 - 例如标准化向量、将两个向量流连接在一起、计算移动平均值等。

我希望做的不是以命令式风格做所有事情，而是创建一个更具函数式风格的 Clojure 解决方案，该解决方案将执行以下操作：

• 允许将任何向量函数转换为可插入模块，例如 (def module-a (make-module some-function))
• 允许在管道中组合这些模块，例如 (def combine-module (combine-in-series module-a module-b)) 会将 module-a 的输出馈送到 module-b 的输入
• 允许辅助函数访问存储在给定模块中的状态，例如（get-moving-average some-moving-average-module），即使 some-moving-average-module 嵌入到组合管道中的深处，它也需要工作
• 在幕后隐藏任何样板代码，例如为向量计算分配足够大的临时数组。

这听起来像一个明智的方法吗？

如果是这样，任何可能有帮助的实现提示或库？

在阅读了一些资料后，我注意到 Apple 推动在控制器上使用委托来相互通信。

所以说我有一个菜单控制器需要与帮助控制器通信（他们需要共享信息 - 大声笑不要问我为什么要这样做）。我可以通过委托来做到这一点，但是当我可以通过帮助对象传递所需信息并让帮助控制器获取在前一个控制器中更改的信息时，为什么还要使用委托。

代表仍然是情侣——无论多么松散，使用对象不是这里可重用性的最佳实践吗？

我创建了一个 SSIS 包，以便可以按计划的时间间隔从旧版 FoxPro 数据库中导入数据。FoxPro 数据库的副本为多个客户安装。总体而言，该软件包运行良好并完成了我所需要的一切。

但是，我有一种烦人的情况，其中至少一个客户（也许更多）有一个修改过的 FP 数据库，他们增加了一个表中一列的长度。当我在这样的客户上运行包时，由于截断而失败。

我想我可以给自己一些回旋余地并将长度从 3 更改为 10。这样可以容纳长度为 10 的突变体，以及使用 3 的其他所有人。但是，当列长度不时，SSIS 会抱怨t 匹配，句号。

我想我有几个选择：

1. 在任务上，将“ValidateExternalMetadata”设置为 false。但是，我不确定这是最负责任的选择……还是这样？
2. 让我们的实施团队将所有客户的长度更改为 10。这可能是一个问题，但至少这是他们的问题。
3. 创建适用于具有不同列长度的解决方案的任务副本。实施可能会在某些时候使用错误的包，每个人都会问我为什么我不只给他们一个无法处理所有场景的包并将这归咎于我。
4. 使用其他一些您可能可以填写的方法。

我正在探索向应用程序用户呈现可视化界面的可能性，该界面允许他们以数据流风格（如 Yahoo Pipes）输入一些自定义代码/功能。

我想知道，例如在 Pipes 中，他们的可视化编辑器如何工作。可视化代码可以编译成文本语言存储在数据库中吗？或者可以将各个块、连接器、变量等都存储在数据库中吗？

像微软的 Visual Studio 这样的可视化编程语言 IDE 呢？代码是直接从可视界面解释的吗？

I have a FoxPro data source, and the destination is SQL Server 2008.

On the FoxPro side, I have a column with the Date data type. That's a width of 8, min value is 0001-01-01 and max is 9999-12-31. On the SQL Server side, I have a datetime. Also a width of 8, min value is 1753-01-01 and max is 9999-12-31.

In my SSIS Data Flow task, I have an OLE DB Source component that reads in the FoxPro table. The columns are mapped as DT_DBDate in both External and Output Columns. The OLE DB Destination to the SQL Server table takes that columns and flows it to a DT_DBTIMESTAMP. I'm sure that DT_DBTIMESTAMP can handle these date ranges adequately, and reasonably sure about DT_DBDATE (but am having trouble finding it in MS documentation).

The Problem

When I execute the task, I've been having trouble with it failing and complaining of "Invalid date format" and then "Conversion failed because the data value overflowed the specific type" when it encounters values from around the early 1900s, to values over 2050. I'm not exactly sure where I've gone wrong.

Bonus Question

How can I handle overflows in my data flow task?

这个问题不是关于如何设置本地环境来测试 Facebook 应用程序。相反，我已经在这个线程的帮助下进行了设置。简而言之，我更改了我的主机文件并且它工作得很好。

但是，我有一个疑问：

假设：我在任何地方都读到 Facebook 服务器像代理一样工作，从应用程序提供商的服务器获取网页，就像 Web 服务一样，然后将此嵌入数据发送到浏览器。

出于测试目的，我已经更改了我的主机文件，如上述线程中所述。我的问题是，如果 Facebook 服务器从我的网络服务器获取数据，那么我的浏览器如何在更改主机文件后在本地获取这些数据？

似乎我的假设是错误的，或者我错过了一些基本的东西。请帮忙。谢谢。

有人可以解释我为什么以及如何使用 Clojure Dataflow 编程 API，因为我似乎在互联网上找不到太多关于它的信息。

我正在考虑在 clojure 程序中使用一些 Dataflow 编程技术，但我很难从使用 Java、C# 或其他在现实世界中使用此类技术的主流语言的项目中找到大量信息。如果有人对此有任何可以分享的经验，我将不胜感激。

我想在我的 clojure 程序中使用很多反应式（数据流）类型的编程技术。在 clojure refs 上使用“add-watcher”将足以做到这一点。一个简单的例子是在底层数据发生变化时更新 GUI。

我喜欢电子表格程序，但它们有一个令人不安的地方：必须在单元格中输入公式。它有几个提款：

• 我需要扫描所有单元格以查看工作表中的内容；
• 如果我更改公式，我必须将其复制到多个单元格；
• 当然，有时我会忘记将新公式复制到所有单元格中；
• 它占用了很多空间，相同的长公式重复了几次。

您是否见过具有某种公式存储库的电子表格软件？它存在吗？

（我现在正在开发一种电子表格软件，它比桌面电子表格更专业，而且我每行使用一个公式 - 这就是问题所在。）

此外，电子表格是数据流系统，奇怪的是，没有预先制作的可重用组件，这是数据流系统的基本概念。在电子表格中，所有组件都使用一次，这是非常糟糕的设计。