0

我有大约 1000 个 .csv 文件，每天的数据可以追溯到 30 年前。我正在为自己构建一个 RESTful 应用程序，理想情况下，用户将输入感兴趣的股票代码和感兴趣的时间范围，这可能会超过 10 年的每日数据。

设计一

我在考虑以下流程：

1) user input symbol='GOOG'
2) user input startDate='01-01-1997', endDate=getTodayDate()
3) client requests location of GOOG.csv file in dropbox server or EC2
4) server returns GOOG.csv to client
5) client parses .csv file until all data is collected and plotted

或者

设计二

1) user input symbol='GOOG'
2) user input startDate='01-01-1997', endDate=getSystemDate()
3) client requests location of GOOG.csv file in dropbox server or EC2
4) server-side converts GOOG.csv file to GOOG.json file 
5) server returns GOOG.json object to client side for plotting

或者

设计 3

0) During maintenance time, convert all 1000 .csv files to .json objects
1) user input symbol='GOOG'
2) user input startDate='01-01-1997', endDate=getSystemDate()
3) client requests location of GOOG.json file in dropbox server or EC2 
4) server returns GOOG.json object to client side for plotting

在此之后我的最终目标是在同一张图表中绘制多达 6 个不同的图表。以及绘制历史投资组合回报。

哪种设计合适，不会吃太多内存并提供良好的性能？

4

2 回答 2

1

查看SOLR项目。它支持 CSV 数据的索引并提供支持 REST 的搜索 API。

一个简单的例子见：

于 2012-11-21T21:54:59.773 回答
0

根据您的简短描述，我将使用设计 2 并在服务器上强制执行一些缓存或动态存储转换后的 json 项目，这样您就不必在当天晚些时候再次转换它们。如果事实证明您在服务器端有过多的负载或内存消耗，您可以稍后再转到设计 3。

于 2012-11-21T20:14:15.203 回答