我正在尝试使用 FsLex 和 FsYacc 解析一种简单的脚本语言,但在区分减号运算符和负数时遇到了问题。
如果我评估术语“1 - 2”,解析器将返回所需的 AST: Minus(NumberLiteral(1.0),NumberLiteral(2.0))
。但是如果我评估术语“1-2”,词法分析器将产生数字 1,然后是数字 -2,这不是有效的输入。
我制作了一个最小的程序来重现我的问题。Ast 定义如下:
module Ast
type Expression =
| NumberLiteral of double
| Minus of Expression * Expression
词法分析器代码如下所示:
{
module Lexer
open Microsoft.FSharp.Text.Lexing
open Parser
}
let whitespace = ' '
let digit = ['0' - '9']
let number = '-'?digit+
rule token = parse
| whitespace* { token lexbuf }
| '-' { MINUS }
| number { lexbuf |> LexBuffer<_>.LexemeString |> System.Double.Parse |> NUMBER }
| eof { EOF }
解析器如下所示:
%{
open Ast
%}
%start start
%token EOF MINUS
%token <double> NUMBER
%type < Expression > start
%%
start:
| expression EOF { $1 }
expression:
| NUMBER { NumberLiteral $1 }
| expression
MINUS expression { Minus($1, $3) }
我最初的想法是不在-
词法分析器中处理数字的一部分,并让解析器确定MINUS
标记是否应该产生减号运算符或负数。不幸的是,这也会导致输入“- 2”被评估为负数,因为会消耗空格。
但我认为这一定是一个普遍的问题,并且必须存在一个共同的解决方案。那么我该如何最好地处理这个问题呢?