6

我正在使用 Menhir 来解析 DSL。我的解析器使用精心制作的嵌套类型集合构建 AST。在稍后的类型检查和其他为用户生成的错误报告中，我想参考它发生的源文件位置。这些不是解析错误，它们是在解析完成后生成的。

一个天真的解决方案是为所有 AST 类型配备额外的位置信息，但这会使使用它们（例如构造或匹配）变得不必要的笨拙。这样做的既定做法是什么？

4

2 回答 2

3

我不知道这是否是最佳实践，但我喜欢在 Frama-C 系统的抽象语法树中采用的方法；见https://github.com/Frama-C/Frama-C-snapshot/blob/master/src/kernel_services/ast_data/cil_types.mli

这种方法使用相互嵌套的记录和代数类型的“层”。记录包含源位置等元信息，以及您可以匹配的代数“节点”。

例如，这里是表达式表示的一部分：

type ...

and exp = { 
  eid: int; (** unique identifier *)
  enode: exp_node; (** the expression itself *)
  eloc: location; (** location of the expression. *)
}

and exp_node =
  | Const      of constant              (** Constant *)
  | Lval       of lval                  (** Lvalue *)
  | UnOp       of unop * exp * typ
  | BinOp      of binop * exp * exp * typ
...

e因此，给定一个类型为 的变量exp，您可以使用 访问其源位置e.eloc，并在其抽象语法树中进行模式匹配e.enode。

如此简单，语法上的“顶级”匹配非常简单：

let rec is_const_expr e =
  match e.enode with
  | Const _ -> true
  | Lval _ -> false
  | UnOp (_op, e', _typ) -> is_const_expr e'
  | BinOp (_op, l, r, _typ) -> is_const_expr l && is_const_expr r

要在表达式中进行更深的匹配，您必须遍历每个级别的记录。这会增加一些语法混乱，但不会太多，因为您只能对您感兴趣的一个记录字段进行模式匹配：

let optimize_double_negation e =
  match e.enode with
  | UnOp (Neg, { enode = UnOp (Neg, e', _) }, _) -> e'
  | _ -> e

相比之下，在没有元数据的纯 AST 上，这将类似于：

let optimize_double_negation e =
  match e.enode with
  | UnOp (Neg, UnOp (Neg, e', _), _) -> e'
  | _ -> e

我发现 Frama-C 的方法在实践中效果很好。

于 2017-07-12T15:37:30.003 回答
2

您需要以某种方式将位置信息附加到您的节点。通常的解决方案是将您的 AST 节点编码为记录，例如，

type node = 
  | Typedef of typdef
  | Typeexp of typeexp
  | Literal of string
  | Constant of int
  | ...

type annotated_node = { node : node; loc : loc}

由于您使用的是记录，因此您仍然可以在没有太多语法开销的情况下进行模式匹配，例如，

 match node with
 | {node=Typedef t} -> pp_typedef t
 | ...

根据您的表示，您可以选择单独包装类型的每个分支、包装整个类型或递归，就像 @Isabelle Newbie 在 Frama-C 示例中一样。

一种类似但更通用的方法是不使用位置扩展节点，而仅使用唯一标识符扩展节点，并使用最终映射将任意数据添加到节点。这种方法的好处是您可以在实际外部化节点属性时使用任意数据扩展您的节点。缺点是您实际上无法保证属性的整体性，因为有限映射不是整体。因此，很难保持一个不变量，例如，所有节点都有一个位置。

由于每个堆分配的对象都已经有一个隐式的唯一标识符，即地址，因此可以将数据附加到堆分配的对象上，而无需实际将其包装在另一种类型中。例如，我们仍然可以node按原样使用类型并使用有限映射将任意信息附加到它们，只要每个节点都是堆对象，即节点定义不包含常量构造函数（如果它有，您可以通过添加一个虚假的单位值来解决它，例如，| End可以表示为| End of unit.

当然，我所说的地址并不是字面意义上的对象的物理地址或虚拟地址。OCaml 使用移动 GC，因此 OCaml 对象的实际地址可能会在程序执行期间发生变化。此外，一般来说，地址不是唯一的，因为一旦对象被释放，它的地址就可以被完全不同的实体获取。

幸运的是，在最新版本的 OCaml 中添加了 ephemer 之后，它不再是问题。此外，ephemeron 可以很好地与 GC 配合使用，因此如果一个节点不再可访问，其属性（如文件位置）将由 GC 收集。所以，让我们用一个具体的例子来说明这一点。假设我们有两个节点c1和c2：

let c1 = Literal "hello"
let c2 = Constant 42

现在我们可以创建从节点到位置的位置映射（我们将后者表示为字符串）

module Locations = Ephemeron.K1.Make(struct
   type t = node
   let hash = Hashtbl.hash (* or your own hash if you have one *)
   let equal = (=) (* or a specilized equal operator *)
end)

该Locations模块提供了一个典型的命令式哈希表的接口。所以让我们使用它。在解析器中，每当您创建一个新节点时，您都​​应该在全局locations值中注册它的位置，例如，

let locations = Locations.create 1337


(* somewhere in the semantics actions, where c1 and c2 are created *)

Locations.add c1 "hello.ml:12:32"
Locations.add c2 "hello.ml:13:56"

稍后，您可以提取位置：

# Locations.find locs c1;;
- : string = "hello.ml:12:32"

如您所见，尽管该解决方案在某种意义上很好，但它不涉及节点数据类型，因此您的其余代码可以轻松轻松地对其进行模式匹配，但它仍然有点脏，因为它需要全局可变状态，很难维护。此外，由于我们使用对象地址作为键，每个新创建的对象，即使它是从原始对象逻辑派生的，也将具有不同的标识。例如，假设您有一个函数，可以规范化所有文字：

let normalize = function
  | Literal str -> Literal (normalize_literal str)
  | node -> node

它将Literal从原始节点创建一个新节点，因此所有位置信息都将丢失。这意味着，每次从另一个节点派生一个节点时，您都​​需要更新位置信息。

蜉蝣的另一个问题是它们无法在编组或序列化中幸存下来。即，如果您将 AST 存储在文件中的某个位置，然后恢复它，所有节点将失去其身份，并且location表将变为空。

说到您在评论中提到的“一元方法”。虽然 monad 很神奇，但它们仍然不能神奇地解决所有问题。它们不是灵丹妙药 :) 为了将某些东西附加到节点上，我们仍然需要使用额外的属性来扩展它——直接的位置信息或我们可以间接附加属性的身份。不过，monad 对后者很有用，因为我们可以使用 state monad 来封装我们的 id 生成器，而不是对最后分配的标识符进行全局引用。并且为了完整起见，您可以使用 UUID 并获取不仅在程序运行中唯一，而且是普遍唯一的标识符，而不是使用 state monad 或全局引用来生成唯一标识符，从某种意义上说，世界上没有其他具有相同标识符的对象，无论您多久运行一次程序（在理智的世界中）。虽然看起来生成 UUID 并没有使用任何状态，但在底层它仍然使用命令式随机数生成器，所以它有点作弊，但仍然可以看作是纯函数式的，因为它不包含 observable效果。

于 2017-07-12T15:35:26.610 回答