python - 搭建端到端的数据分析平台

Question

我需要创建一个端到端的平台：

1. 输入数据收集和存储 - 数据将通过 FTP 定期收集并存储在云端。
2. 数据分析 - 将分析数据（使用 Tableau/任何其他分析软件）
3. 报告 - 根据不断变化的输入数据生成每日和每月报告。

我需要决定我可以为这个解决方案使用哪种工具/技术，以及如何在线托管脚本/进程以使它们 24*7 运行。

我的一个想法是使用 AWS 和 Tableau：

1. 对于数据收集 - 在 Amazon ECS 控制台中安排 cron 作业
2. 存储 - 存储在 AWS 上 - 可能是 Amazon S3 存储）但是我可以选择在加载到 Amazon S3 之前格式化/更改数据吗？
3. 使用 Tableau 创建仪表板。但这需要多个 Tableau 会话，因为不同报告的数据源会有所不同。此外，我需要定期将这些报告/仪表板以电子邮件格式发送给用户。可以在 AWS 中完成吗？

但是，我相信 AWS 解决方案对公司来说成本很高。还有哪些其他可能的解决方法？

抱歉，我是这个领域的新手，很难找到一个具有成本效益的解决方案。

Answer 1

查看构建 AWS 无服务器架构。S3 > lambda > Athena > quicksight

使用 lambda 函数将传入 s3 的数据转换为所需格式。

使用 Athena 对数据进行分区和查询，并创建表和数据库。

使用画面提取，甚至更好地使用 quicksight。

费用取决于数据量。该解决方案每月花费不到 10 美元并支持 10 个用户，但这是一个没有任何变量的模糊估计。