java - 无法使用 Jackson 从 Jackson ArrayNode 中的 Amazon S3 读取内存中的大型 JSON 文件

Question

我正在尝试读取一个非常大的 JSON 文件，该文件存储在 Amazon S3 上，包含大约 30,000 条记录，大小为 100 MB。

我正在尝试读取 Java 中 JSON ArrayNode 中的所有记录。我无法读取内存中的所有记录。它最多读取 3619 条记录，然后我的服务器重新启动。我也无法在日志中找到此问题的任何日志痕迹。

谁能帮我解决这个问题。

谢谢。

Answer 1

请使用 S3 控制台从 S3 下载文件，然后适当修改这个 perl 脚本，看看你下载的数据是否真的是有效的 Json：

use warnings FATAL => qw(all);
use strict;
use Carp;
use Data::Dump qw(dump);
use JSON;

my $File = "....";       # File name containing downloaded JSON
open(my $f, "<$File") or die "Cannot open file $File for input";
local $/;                # Enable localized slurp mode
my $j = <$f>;
my $d = decode_json $j;

print dump($d);