我将在我的项目中处理大量数据。我读过大数据概念,但从未使用过。但是阅读所有这些大数据文档,我仍然不确定我的需求是否需要大数据,或者使用传统的关系数据库处理是否好。
这是有关我的数据库的一些信息。
我的主数据库是不同数据源的存储库。这些数据源中的每一个都处理相同类型的数据(同一域中的数据),但是一些数据源包含额外的字段,这些字段在其他数据源中不可用,而有些则包含更少。换句话说,这些数据源中的一些数据字段是相同的,但有些是不同的。所以我的核心数据库应该包含所有这些字段。我的核心数据库中的总字段应该是大约 2000 个字段,它可能包含 10 到 2000 万条记录。
在我的核心数据库中发生的数据库操作将是数据插入和读取(搜索)。由于它处理大量数据,我正在考虑使用大数据概念。但我仍然不确定这是否适合大数据。因为我的一些数据具有相似的特征(相同的字段),有些包含额外的信息。我需要在我的数据库中快速搜索所有类型的东西。谢谢。