2

如何使用 Marpa:r2 解析单引号字符串？在我下面的代码中，单引号字符串在解析时附加了“\”。

代码：

use strict;
use Marpa::R2;
use Data::Dumper;


my $grammar = Marpa::R2::Scanless::G->new(
   {  default_action => '[values]',
      source         => \(<<'END_OF_SOURCE'),
  lexeme default = latm => 1

:start ::= Expression

# include begin

Expression ::= Param
Param ::= Unquoted                                         
        | ('"') Quoted ('"') 
        | (') Quoted (')

:discard      ~ whitespace 
whitespace    ~ [\s]+

Unquoted      ~ [^\s\/\(\),&:\"~]+
Quoted        ~ [^\s&:\"~]+

END_OF_SOURCE
   });

my $input1 = 'foo';
#my $input2 = '"foo"';
#my $input3 = '\'foo\'';

my $recce = Marpa::R2::Scanless::R->new({ grammar => $grammar });

print "Trying to parse:\n$input1\n\n";
$recce->read(\$input1);
my $value_ref = ${$recce->value};
print "Output:\n".Dumper($value_ref);

输出：

Trying to parse:
foo

Output:
$VAR1 = [
          [
            'foo'
          ]
        ];

Trying to parse:
"foo"

Output:
$VAR1 = [
          [
            'foo'
          ]
        ];

Trying to parse:
'foo'

Output:
$VAR1 = [
          [
            '\'foo\''
          ]
        ]; (don't want it to be parsed like this)

以上是所有输入的输出，我不希望第三个附加“\”和单引号。我希望它像 OUTPUT2 一样被解析。请指教。

理想情况下，它应该只根据 Param ::= (') Quoted (') 选择单引号之间的内容

4

3 回答 3

2

关于 Data::Dumper 输出的另一个答案是正确的。但是，您的语法并没有按照您期望的方式工作。

当您解析输入'foo'时，Marpa 将考虑三个Param备选方案。该位置的预测词位为：

  • Unquoted ~ [^\s\/\(\),&:\"~]+
  • '"'
  • ') Quoted ('

是的，最后一个是字面意思) Quoted (，而不是包含单引号的任何内容。

即使是([']) Quoted (['])：由于最长的标记匹配，未引用的词位将匹配整个输入，包括单引号。

" foo "像（带双引号）这样的输入会发生什么？现在，只有'"'词位匹配，然后任何空格将被丢弃，然后引用的词位匹配，然后任何空格被丢弃，然后关闭"匹配。

为了防止这种空格跳过行为并防止由于 LATM 而首选未引用规则，将带引号的字符串描述为词位是有意义的。例如：

Param ::= Unquoted | Quoted
Unquoted ~ [^'"]+
Quoted ~ DQ | SQ
DQ ~ '"' DQ_Body '"'  DQ_Body ~ [^"]*
SQ ~ ['] SQ_Body [']  SQ_Body ~ [^']*

然后，这些词位将包含任何引号和转义，因此您需要对词位内容进行后处理。您可以使用事件系统（概念上很干净，但实现起来有点麻烦）来执行此操作，或者添加一个在解析评估期间执行此处理的操作。

由于词位不能有动作，通常最好添加一个代理产生：

Param ::= Unquoted | Quoted
Unquoted ~ [^'"]+
Quoted ::= Quoted_Lexeme action => process_quoted
Quoted_Lexeme ~ DQ | SQ
DQ ~ '"' DQ_Body '"'  DQ_Body ~ [^"]*
SQ ~ ['] SQ_Body [']  SQ_Body ~ [^']*

然后该操作可以执行以下操作：

sub process_quoted {
  my (undef, $s) = @_;
  # remove delimiters from double-quoted string
  return $1 if $s =~ /^"(.*)"$/s;
  # remove delimiters from single-quoted string
  return $1 if $s =~ /^'(.*)'$/s;
  die "String was not delimited with single or double quotes";
}
于 2018-05-01T09:38:07.337 回答
0

您的结果不包含\'，它包含'。 Dumper只是像这样格式化结果，所以很清楚字符串里面是什么，什么不是。

您可以自己测试此行为：

use Data::Dumper;

my $tick = chr(39);
my $back = chr(92);

print "Tick Dumper: " . Dumper($tick);
print "Tick Print:  " . $tick . "\n";
print "Backslash Dumper: " . Dumper($back);
print "Backslash Print:  " . $back . "\n";

你可以在这里看到一个演示：https ://ideone.com/d1V8OE

如果您不希望输出包含单引号，您可能需要自己从输入中删除它们。

于 2018-04-30T21:44:23.200 回答
0

我对 不太熟悉Marpa::R2，但您能否尝试对Expression规则使用操作：

Expression ::= Param action => strip_quotes

然后，实现一个简单的报价剥离器，如：

sub MyActions::strip_quotes {
    @{$_[1]}[0] =~ s/^'|'$//gr;
}
于 2018-05-01T08:33:05.440 回答