我在亚马逊 s3 存储桶中有数千个 json 文件，它们的大小都低于 1mb 开发报告引擎以读取每个文件并从匹配某些用户定义标准的文件中获取结果的最佳方法是什么？我曾考虑在 hadoop 集群中镜像数据，但这似乎太过分了，我的印象是 hadoop 不太适合如此少量的数据？
问问题
81 次
我在亚马逊 s3 存储桶中有数千个 json 文件，它们的大小都低于 1mb 开发报告引擎以读取每个文件并从匹配某些用户定义标准的文件中获取结果的最佳方法是什么？我曾考虑在 hadoop 集群中镜像数据，但这似乎太过分了，我的印象是 hadoop 不太适合如此少量的数据？