关于在 EC2/S3 上部署数据处理应用程序的文章很多,但我想知道,开发此类应用程序的典型工作流程是什么?
假设我有一个 1 TB 的时间序列数据,我已经设法将它存储在 S3 上。我将如何编写应用程序并进行交互式数据分析以构建机器学习模型,然后编写大型程序来测试它们?换句话说,在这种情况下如何设置开发环境?我是否要启动 EC2 实例,在其上开发软件并保存我的更改,然后每次我想做一些工作时关闭?
通常,我启动 R 或 Pylab,从本地驱动器读取数据并进行分析。然后,我根据该分析创建应用程序,并让它在该数据上松散。
在 EC2 上,我不确定我是否可以这样做。人们是否将数据保存在本地进行分析,并且仅在需要运行大型模拟作业时才使用 EC2?
我很想知道其他人在做什么,尤其是那些拥有基于 EC2/S3 的整个基础架构的初创公司。