0

我想为我的分析解决方案检索光速数据。这个问题如下。我每 15 分钟处理大量数据,并创建具有大量不同不同维度的不同多维数据集 [元组]。详细地,我在 100 个国家 X 10000 个州 X 5000 个电视频道 X 999 个节目 X ... X 15 分钟时间间隔中分离数据。所以每 15 分钟就会创建很多不同的元组。目前我正在使用 Mysql 数据库并通过文件转储数据,因此编写起来要快得多。我也有 15 分钟、1 小时、1 天、1 周、1 个月、1 年粒度聚合表的不同表,用于不同类型的查询。但是在检索它时需要花费大量时间[即使在对数据库表进行了最佳索引之后。]

请任何人为我提供这个问题的解决方案?如果可能的话区分 NoSql 和 MySql 数据库?

我在简单的 txt 文件中获取我的数据作为服务器日志。这是由我的 java Web 服务应用程序使用日志记录功能生成的。像这样... – Dhimant Jayswal 13 分钟前 正如我所提到的,我通过每 15 分钟处理一次这些日志并保存到 mysql 数据库表中来创建不同的维度,并在此期间对相同的维度进行聚合(例如 - 1 小时内将有将聚合 4 个 15 分钟维度以更详细地创建 1 个维度,我正在创建一个维度[/Object],例如 time=2012-11-16 10:00:00, Country='US', Location='X ', His=15 ; 另一次=2012-11-16 10:15:00, Country='US', Location='X',His=67)。然后这些值进入数据库表。所以我可以在一个小时或 15 分钟或一天内随时检索数据

4

0 回答 0