linux - 在文件生成/从用户上传到我的服务器期间流 awk

Question

我有一个 redhat 服务器，用户在该服务器上上传了非常大的文件。文件完全上传后，我在它们上运行一个脚本来解析数据。它是一个 90% awk 的 bash 脚本。

有没有办法让我在下载脚本时开始 awking 脚本？排序流式 awk 以获得更实时的结果？

提前感谢您的任何帮助和建议。

score 1 · Accepted Answer

您可以tail -f在写入文件时使用它来读取文件。示例（GNU coreutils 8.21）：

tail -n +0 -f --pid $SOME_PID $SOME_FILE | $YOUR_SCRIPT

-n +0表示tail将从文件开头开始输出。-f告诉tail随着文件的增长输出新数据。在给定进程死亡后--pid终止；没有其他方法可以知道何时停止查看文件以进行更新。tailtail

score 0 · Accepted Answer

你怎么下载？使用 wget 您可以执行以下操作

wget -q -O- http://someurlthatdoesntexist.com | grep 'some word'

因此，管道到 bash 脚本应该同样简单。

2 回答 2