0

我不使用数据库，所以想在开始之前确认最佳实践。我得到了一个项目，我应该在其中获取一些不同建模的数据文件，处理它们并显示一些标准报告。

这将是批量摄取，最多可以是每周或每天。我们将使用的云是 Microsoft Azure。根据我的开发经验，我正在考虑以下工具来完成这项工作。但是会喜欢你们的一些建议：

-> Ingestion [and stage] => 编写一个 rest api 来获取数据并在 Elastic 中暂存

-> 处理 -> Azure HDInsight .. 我没有使用它，但从简短的阅读来看，这听起来像是推荐的选择。

-> 暂存和报告 -> 使用 Kibana/Graphana 返回弹性搜索。我用过这些工具，所以更喜欢它。

我还阅读了一些推荐 Azure 数据工厂的文章。期待提出一些建议。

问候， Gaurav Sharma

4

1 回答 1

1

对于摄取，您可以使用数据工厂，它支持使用 WebActivity 调用 rest api。https://docs.microsoft.com/en-us/azure/data-factory/control-flow-web-activity

对于处理，您是否考虑过将数据存储在 Data Lake Store 中并使用 U-SQL 进行转换？我只是提到它，因为您可能已经跳过考虑它。https://docs.microsoft.com/en-us/azure/data-lake-analytics/

对于报告 Microsoft 提供的 Power Bi，它可以连接到包括其他 API 在内的许多来源。它可能对您有用，也可能对您没有用，具体取决于您的项目要求。https://app.powerbi.com

希望这可以帮助！

于 2018-01-03T18:53:29.447 回答