2

我正在使用nearley 和 moo来提出一个相当复杂的语法。除了我的空白要求之外，它似乎工作正常。我需要在需要时需要空格，并在不需要时允许它，同时保持语法明确。

例如：

After dinner, I went to bed.

我需要在单词之间使用空格，但允许在逗号周围使用空格。所以以下也是有效的：

After dinner , I went to bed.
After dinner,I went to bed.

下面是一个试图做到这一点的快速近乎语法。如果您不了解语法，则很容易弄清楚。

// Required whitespace
rws : [ \t]+
// Optional whitespace
ows : [ \t]*

sentence -> words %ows "," sentence
          | words

words    -> word %rws words
         -> word

word     -> [a-zA-Z]

语法可能有问题，但想法是一样的。这变成了一个模棱两可的语法。如何定义明确的语法，期望可选和必需的空格？

4

2 回答 2

2

我发现使用使我的语法更简单，因此我通常花更少的时间来修复模棱两可的语法。

我不是设计语法的专家，但这就是我要做的：

词法分析器

  • word将匹配一系列字符
  • comma将匹配" , "," ,"和", ".","
  • space将匹配一个空格" "
  • period将匹配一个时期"."
  • nl将匹配一个或多个换行符。
const moo = require('moo');

const lexer =
  moo.compile
    ( { word: /[a-zA-Z]+/
      , comma:/ ?, ?/
      , space: / /
      , period: /\./
      , nl: {match: /\n+/, lineBreaks: true}
      }
    );

module.exports = lexer;

语法网

这里我们说：

  1. 一个文本有一个或多个句子
  2. 换行符可以出现在每个句子之前和之后
  3. 一个句子可以%word以a%comma或 a的序列开头，%space 并且必须以 a%word后跟a 结尾%period.

所有的后处理规则都是扁平化标记列表并.value从标记中提取，以便我们最终得到单词列表。

@{% const lexer = require("./lexer.js"); %}
@lexer lexer

text
  -> %nl sentence:+ {% ([_, sentences]) => sentences %}

sentence
  -> seq:* %word %period %nl {% ([seq, w, p, n]) => [...seq, w.value] %}

seq
  -> (%word %space) {% ([[w]]) => w.value %}
   | (%word %comma) {% ([[w]]) => w.value %}

此语法允许解析此文本：


After breakfast, I went to work.

After lunch , I went to my desk.

After the pub,I went home.

sleep.

例子：

const nearley = require('nearley');
const grammar = require('./grammar.js');

const parser = new nearley.Parser(nearley.Grammar.fromCompiled(grammar));

parser.feed(`

After breakfast, I went to work.

After lunch , I went to my desk.

After the pub,I went home.

sleep.
`);

if (parser.results.length > 1) throw new Error('grammar is ambiguous');
JSON.stringify(parser.results[0], null, 2);

输出：

[
  [
    "After",
    "breakfast",
    "I",
    "went",
    "to",
    "work"
  ],
  [
    "After",
    "lunch",
    "I",
    "went",
    "to",
    "my",
    "desk"
  ],
  [
    "After",
    "the",
    "pub",
    "I",
    "went",
    "home"
  ],
  [
    "sleep"
  ]
]
于 2020-11-25T21:38:37.617 回答
1

我对 Nearly 和 Moo 都不熟悉，但正则表达式可能是

whitespace : ([ \t]*,[ \t]*|[ \t])

你的语法会变成

word %whitespace word

希望这是有道理的，我并没有完全搞砸语言。

于 2020-11-24T19:23:00.397 回答