1

我有很多行的文本文件。我想编写一个简单的 OCaml 程序，该程序将逐行处理此文件并可能打印该行。

为了编写这个程序，我首先创建了一个较小的文件，行数更少 - 这样程序将更快地完成执行。

$ wc -l input/master 
214745 input/master
$ head -50 input/master > input/small-master

filter.ml这是我编写的简单样板程序：

open Core.Std;;
open Printf;;
open Core.In_channel;;

if Array.length Sys.argv >= 2 then begin
  let rec process_lines ?ix master_file  =
    let ix = match ix with
      | None -> 0
      | Some x -> x
    in
    match input_line master_file with
    | Some line -> (
      if ix > 9 then printf "%d == %s\n" ix line;
      process_lines ~ix:(ix+1) master_file
    )
    | None -> close master_file
  in
  let master_file = create Sys.argv.(1) in
    process_lines master_file
end

它将输入文件的位置作为命令行参数，创建用于读取此文件的文件句柄，并process_lines使用此文件句柄作为参数调用递归函数。

process_linesix当它从文件句柄逐行读取时，使用可选参数来计算行号。process_lines 只是将读取的行打印file_handle到标准输出。

然后，当我在较小的输入文件上执行程序并将输出传送到 Linuxhead命令时，一切正常：

$ ./filter.native input/small-master |head -2
10 == 1000032|BINCH JAMES G|4|2012-11-13|edgar/data/1000032/0001181431-12-058269.txt
11 == 1000032|BINCH JAMES G|4|2012-12-03|edgar/data/1000032/0001181431-12-061825.txt

而且，当我在较大的文件上执行程序时，我看到了一个损坏的管道错误：

$ ./filter.native input/master |head -2
10 == 1000032|BINCH JAMES G|4|2012-11-13|edgar/data/1000032/0001181431-12-058269.txt
11 == 1000032|BINCH JAMES G|4|2012-12-03|edgar/data/1000032/0001181431-12-061825.txt
Fatal error: exception Sys_error("Broken pipe")
Raised by primitive operation at file "pervasives.ml", line 264, characters 2-40
Called from file "printf.ml", line 615, characters 15-25
Called from file "find.ml", line 13, characters 21-48
Called from file "find.ml", line 19, characters 2-27

我了解到，当管道的读取器（在本例中为head命令）在管道的编写者（在本例中为我的 OCaml 程序）完成写入之前退出时，会发生此类损坏的管道错误。这就是为什么如果我将tail命令用作阅读器，我将永远不会收到这样的错误。

但是，当文件的行数较少时，为什么没有发生断管错误？

4

1 回答 1

2

断管信号是 Unix 设计的基本部分。当你有一个只读取少量数据的管道a | b时b，你不想在读完所有需要的数据a后浪费时间写。b为了实现这一点，Unix 将损坏的管道信号发送到一个进程，该进程写入一个没有人正在读取的管道。在通常情况下，这会导致程序静默退出（即，它会杀死程序），这正是您想要的。

在这个假设的示例中，b在读取几行后退出，这意味着没有人在读取管道。下次a尝试写入更多输出时，它会收到损坏的管道信号并退出。

在您的情况下a是您的程序并且b是head.

OCaml 运行时似乎注意到了信号并且没有静默退出。您可以认为这是一个缺陷，或者最好知道何时有信号终止了您的程序。修复它的最佳方法是自己捕捉信号并静默退出。

小文件不会发生这种情况的原因是整个输出都适合管道。（一个管道代表一个大约 64K 字节的缓冲区。）你的程序只是写入它的数据并退出；您的程序没有足够的时间尝试写入没有阅读器的管道。

于 2014-03-03T03:33:08.313 回答