1

我通读了 azure 文档，发现 Queues 的消息大小限制为 64 Kb，Service Bus 为 256 KB。我们正在尝试开发一个应用程序，该应用程序将从某些设备读取传感器数据，调用 REST 服务并将其上传到云端。这些数据将存储在队列中，然后转储到云数据库中。

收集的传感器数据可能超过 256 KB...在这种情况下，推荐的方法是什么...我们是否需要在 REST 服务中拆分数据，然后将大块数据放入队列中？还有其他推荐的模式

任何帮助表示赞赏

4

1 回答 1

4

您有几个相互冲突的技术声明。我将首先澄清一些。

  1. 服务总线/IoT 中心不是后期调用。一个 post call 会使用一个单独存在的 restful 服务。IoT 中心使用从您那里抽象出来的低延迟消息传递系统。这些旨在成为大容量小数据包，适合大多数物联网场景。

  2. 在消息大于 256 KB 的情况下（这对于 IoT 场景来说非常有趣，我很想知道为什么这些消息如此之大），理想情况下，您应该上传到 blob 存储。您仍然可以发布数据包

    • 如果您可以使用您的设备访问 blob 存储 api，那么您应该走这条路

    • 如果您无权访问它，您应该将大数据包发布到休息端点，然后用手指交叉制作它或将其切碎。

      1. 您可以在 blob 存储上运行后分析，我建议使用 wasb 前缀，因为这些容器兼容 Hadoop，并且您可以在这些存储机制之上建立分析集群。

您实际上不需要我可以立即看到的队列。

您应该看看利用以下模式的模式：

  1. 流分析：https ://azure.microsoft.com/en-us/services/stream-analytics/
  2. Azure 数据工厂：https ://azure.microsoft.com/en-us/services/data-factory/

您的典型摄取将是：将您的数据尽可能轻松地上传到云中并存储到超便宜的存储中，然后使用您可以根据需要站立和拆卸的集群处理分析。廉价的存储通常是 blob，而分析集群通常是某种形式的 Hadoop。使用数据工厂，您可以在确定要使用它的特定组件的目的时对数据进行管道传输。

使用 HBase 作为摄取，使用廉价的 blob 存储作为底层，Azure 机器学习作为我的分析解决方案的一部分：http: //indiedevspot.com/2015/07/09/powering-azureml-with-hadoop-hbase/

于 2015-10-30T13:49:40.210 回答