我们正在尝试使用 BigData 创建仪表板。数据当前在 SQLServer 中处理，前端在 MVC 中。由于使用 SQLServer 本身分析数据流非常高，因此决定使用 BigData。我选择了 Cloudera Manager CDH、SQOOP 将数据从 SQLServer 导入 HIVE，并使用 IMPALA 运行分析。决定使用 Microstrategy 来提高结果，以便在移动平台上向客户提供图表。欢迎任何想法或建议来改进这个过程？
问问题
158 次
2 回答
1
看起来你有一个很好的开始。请记住，您的分析可以使用多种工具完成，而不仅仅是 Impala。
一旦您在 Hadoop 中，Hive 和 Pig 提供了很多功能（UDFS 提供了更多功能），并且学习曲线简单。
如果你最终想要做一些迭代用例（并利用机器学习），你可能想看看 Spark（这两件事都在它的驾驶室里），它不受 MapReduce 的限制。
大量可用的强大工具。旅行愉快。
于 2016-03-25T19:34:39.033 回答
1
我会考虑使用两个阶段。数据分析和数据可视化。使用两个阶段使解决方案更加灵活并解耦责任。
数据分析
- 摄取数据（包括清理），Sqoop 可以执行摄取步骤，可能需要额外的步骤来清理数据。
- 探索/分析数据，Apache Spark 是一个非常灵活和强大的工具。
- 以指定格式存储分析结果
数据可视化
- 从数据分析阶段加载数据
- 可视化它。使用 Highcharts/Kibana/Dashing。或者使用 D3 创建自定义仪表板。
于 2016-07-03T22:09:03.627 回答