我正在制作一个处理大量数据的程序,但我面临两个方向,算法可以在每次需要数据时查询数据库,或者我应该创建自己的数据结构并只提供一次数据。
我认为对于大数据,您真的不知道 DBMS 将如何处理您的查询?这可能需要一段时间,尤其是在流量很大的情况下,所以最好自己发明数据结构,对吗?
我正在制作一个处理大量数据的程序,但我面临两个方向,算法可以在每次需要数据时查询数据库,或者我应该创建自己的数据结构并只提供一次数据。
我认为对于大数据,您真的不知道 DBMS 将如何处理您的查询?这可能需要一段时间,尤其是在流量很大的情况下,所以最好自己发明数据结构,对吗?
我认为你只需要 ak/v 存储,试试 LevelDB ( http://code.google.com/p/LevelDB )。
如果您只对列的一个子集感兴趣,您可以在数据库中创建一个视图。这样该表并不总是被扫描。