c# - 使用“总线”或 StreamInsight 的 Twitter 流路由

Question

我被困在一个关于以下方面的架构问题上：

编辑：

所以我可能会过度思考这个问题，或者我可能会改写这个问题。NServiceBus 似乎是为 Messaging和（类似流的数据？）而制作的，Routing而 StreamInsight 似乎是为 和制作的。:)。Event Stream ProcessingEvent QueryingCorrelating

与方法 2相比，使用方法 1是否有任何好处（例如，在可扩展性、冗余方面）？

“方法一”

这是一条总线（例如 NServiceBus），用于将数据导入数据库并仅使用 StreamInsight 进行查询/关联。

“方法 2”

哪个不使用 NServiceBus，而是利用输入/输出适配器作为 Pub/Sub，而 Sub 是“主动将数据推送到数据库”的输出适配器？

原来的：

我们正在创建一个应用程序，将 Twitter 数据流式传输到我们的环境中。这个数据是：

1. 存储为原始（事件）输入数据
2. 解析/过滤
3. 已查询（使用 StreamInsight CEP）
4. 先前步骤之后的剩余数据存储为复杂事件

对于第 1 步，我不确定最需要的方法是什么：

1. 使用 StreamInsight 将数据流一分为二，其中一个输出适配器将原始数据存储在一侧的数据库中，另一个输出适配器将数据发送到另一个输入适配器以供进一步解析/过滤（步骤 2）。

-或者-

2. 使用不同的技术（MSMQ？Azure 服务总线？）“将原始数据流路由到数据库”

非常感谢任何指导！

Answer 1

您所说的量对于 StreamInsight 来说并不多。并不是说这是个问题。其次，没有理由在其中增加复杂性，而且您似乎过度考虑了这个问题。首先，使用 StreamInsight 2.1，可以很容易地创建一个接收器，将一些数据发送到数据库，然后使用额外的查询来执行额外的分析。这将发生在单个“进程”中（不要与 Windows 进程混淆），并且任何一组查询都可以有不同的输出接收器。说得通？如果你想看一个例子，你可以下载这个演示：http: //1drv.ms/1nPs2cA。另外，请查看我在 www.devbiker.net 上的博客。