0

我目前正在学习基于解析一个简单计算的词法分析和解析（基于 F# 工具集），我被困在我的词法分析器没有推进以消耗整个字符串：

let lexeme = LexBuffer<_>.LexemeString
// ...
rule test = parse
  | digit+  { Console.WriteLine("1_" + (lexeme lexbuf)); test lexbuf; }
  | '+'     { Console.WriteLine("2_" + (lexeme lexbuf)); test lexbuf; }
  | '-'     { Console.WriteLine("3_" + (lexeme lexbuf)); test lexbuf; }
  | '*'     { Console.WriteLine("4_" + (lexeme lexbuf)); test lexbuf; }
  | '/'     { Console.WriteLine("5_" + (lexeme lexbuf)); test lexbuf; }
  | '('     { Console.WriteLine("6_" + (lexeme lexbuf)); test lexbuf; }
  | ')'     { Console.WriteLine("7_" + (lexeme lexbuf)); test lexbuf; }
  | eof     { () }

请注意，例如 final'test lexbuf'是我必须编写的，以确保我提供的整个字符串都被使用

因为我在实际实现中没有这样做，所以我只是读取例如第一个数字，这就是我得到的全部。

rule calculator = parse
  | digit+  { NUMBER (Convert.ToInt32(lexeme lexbuf)) }
  | '+'     { PLUS }
  | '-'     { MINUS }
  | '*'     { TIMES }
  | '/'     { DIV }
  | '('     { LPAREN }
  | ')'     { RPAREN }
  | eof     { EOF }

我见过许多结构非常相似的例子。我错过了什么。

4

2 回答 2

0

我猜你的文本输入中可能有空格和/或换行符，因此需要规则来处理这些（即通过推进 lexbuf 而不是生成令牌来丢弃它们）。就像是：

let whitespace = [' ' '\t' ]
let newline = ('\n' | '\r' '\n')

...

| whitespace { calculator lexbuf }
| newline    { lexbuf.EndPos <- lexbuf.EndPos.NextLine; calculator lexbuf }
于 2014-08-29T14:56:58.873 回答
0

问题是您根本无法期望词法分析器自行推进。对我来说，将其视为流有助于理解正在发生的事情。

推进只能与解析器结合使用。解析器将不断要求词法分析器返回标记。

于 2014-09-03T12:39:22.103 回答