datastage - 使用 DataStage 进行文件拆分 (8.5)

Question

我有一项工作成功地生成了一个包含数亿行的顺序文件 (CSV) 输出，有人可以提供一个示例，将输出写入一百个单独的顺序文件，每个文件都有一百万行吗？

顺序文件阶段是什么样的，它是如何配置的？

这是为了最终允许 QA 审查任何一个单独的输出，而无需使用可以查看大文本文件的特殊文本编辑器。

Answer 1

根据@Mr. 的建议。Llama 和缺乏即将到来的解决方案，我们决定在预定的 DataStage 事件结束时执行一个简单的脚本。

#!/bin/bash
# usage:
# sh ./[script] [input]

# check for input:
if [ ! $# == 1 ]; then
  echo "No input file provided."
  exit
fi

# directory for output:
mkdir split

# header without content:
head -n 1 $1 > header.csv

# content without header:
tail +2 $1 > content.csv

# split content into 100000 record files:
split -l 100000 content.csv split/data_

# loop through the new split files, adding the header
# and a '.csv' extension:
for f in split/*; do cat header.csv $f > $f.csv; rm $f; done;

# remove the temporary files:
rm header.csv
rm content.csv

粗鲁，但在这种情况下对我们有用。