我想知道使用 MySQL 集群和使用 Hadoop 框架的优缺点。什么是更好的解决方案。我想看看你的意见。
我认为使用 MySQL Cluster 的优点是：
而且我看不出有什么缺点！Hadoop有没有什么缺点？
基于 Hive 的 Hadoop 的优点是：
缺点是：
因此，在我看来，对于处理大数据，MySQL 集群是更好的解决方案。为什么 Hadoop 是处理大数据的圣杯？你有什么意见？
以上两个答案都忽略了 mySQL 和 Hadoop 之间的巨大差异。mySQL 要求您以某种格式存储数据。它喜欢高度结构化的数据——你声明表中每一列的数据类型等。Hadoop 根本不关心这个。
示例 - 如果您有十亿个文本日志文件，为了对 mySQL 进行分析，您需要首先解析数据并将其加载到 mySQL 表中，并在此过程中键入每一列。使用 hadoop 和 mapreduce，您可以定义从原始源扫描/分析/返回数据的功能 - 您无需预处理 ETL 即可对其进行预结构化。
如果数据已经结构化并且在 mySQL 中 - 那么（希望）它的结构良好 - 为什么要导出它以供 hadoop 分析？如果不是，为什么要花时间对数据进行 ETL 处理？
Hadoop不是MySQL的替代品，所以我觉得他们有自己的场景。</p>
众所周知，hadoop 更适合批处理作业或离线计算，但也有许多相关的实时产品，例如 hbase。
如果您想选择离线计算和存储架构。
我建议使用 hadoop 而不是 MySQL 集群进行离线计算和存储，因为：
所以你可以选择hadoop作为离线计算和存储，MySQL作为在线计算和存储，你也可以从lambda架构中学习更多。
另一个答案很好，但并没有真正解释为什么 hadoop 在离线数据处理方面比 MySQL 集群更具可扩展性。Hadoop 对于必须分布在多台机器上的大型数据集更有效，因为它可以让您完全控制数据分片。
MySQL 集群使用自动分片，它旨在随机分布数据，因此没有一台机器会受到更多负载的影响。另一方面，Hadoop 允许您明确定义数据分区，以便需要同时访问的多个数据点将位于同一台机器上，从而最大限度地减少完成工作所需的机器之间的通信量。这使得 Hadoop 在许多情况下更适合处理海量数据集。
这个问题的答案很好地解释了这种区别。