2

在这个问题之后，我试图以一种有效的方式将一个带有 bz2 压缩 json 文件的40 GB TAR 文件加载到 PostgreSQL 中。

根据上面提到的答案，我正在尝试分离流程并使用外部工具来创建以下流程。

  • 使用 TAR（在这种情况下为 bsdtar，因为 TAR 在其 Windows 版本中不包括解压缩）打开并解压缩文件到 SDOUT，只有 *.bz2 文件。
  • 调用 bzcat 提取 *BZ2 文件（导出到 sdout）
  • 在我的 python 脚本“file_handling”中打开它，它将每个传入的行映射到一条推文并将其作为 csv 输出到标准输出
  • 将其通过管道传输到 PSQL 以将其加载到一个 COPY 命令中。

我目前在到达 bzcat 时遇到错误，这是我必须构建执行上述内容的行：

pipeline = [filename[1:3] + " && ",  # Change drive to H so that TAR can find the file without a drive name (doesn't like absolute paths, apparently).
            '"C:\\Tools\\GnuWin32\\gnuwin32\\bin\\bsdtar" vxOf ' + filename_nodrive + ' "*.bz2"',  # Call to tar, outputs to stdin
            " | C:\\Tools\\GnuWin32\\gnuwin32\\bin\\bzcat.exe"#,  # Forward its output to bzcat
            ' | python "D:\Cloud\Dropbox\Coding\GitHub\pyTwitter\pyTwitter_filehandling.py"', # Extract Tweets
            ' | "C:\Program Files\PostgreSQL\9.4\bin\psql.exe" -1f copy.sql ' + secret_login_d
           ]
module_call = "".join(pipeline)
module_call = "H: && "C:\Tools\GnuWin32\gnuwin32\bin\bsdtar" vxOf "Twitter datastream/Sourcefiles/archiveteam-twitter-stream-2013-01.tar" "*.bz2" | C:\Tools\GnuWin32\gnuwin32\bin\bzcat.exe | python "D:\Cloud\Dropbox\Coding\GitHub\pyTwitter\pyTwitter_filehandling.py" | "C:\Program Files\PostgreSQL\9.4in\psql.exe" -1f copy.sql "user=xxx password=xxx host=localhost port=5432 dbname=xxxxxx""

执行 TAR 的代码时，TAR 文件输出到 CMD 提示符，提示我一切正常。但是，bzcat 行带来了一个错误：

x 01/29/06/39.json.bz2
bzcat.exe: Data integrity error when decompressing.
    Input file = (stdin), output file = (stdout)

It is possible that the compressed file(s) have become corrupted.
You can use the -tvv option to test integrity of such files.

运行 -tvv 给了我：

huff+mtf data integrity (CRC) error in data

我尝试使用 7-zip (GUI) 提取相同的存档：这仍然有效。任何有关如何解决此问题的帮助将不胜感激。我正在运行带有 GNUWin32 的 Windows 8.1。

4

1 回答 1

2

bsdtar.exe 正在将文件数据中的换行字节转换为 DOS CRLF 序列，从而导致 bzip2 输出流损坏。

GNU tar 在使用相对路径时有效，但它不处理 Windows 中的绝对路径。

你最好的选择是使用 7-zip 代替：

7z.exe x -so -ir!*.json.bz2 archive.tar | bzcat | ...
于 2015-01-14T04:21:53.843 回答