1

我正在使用 pyparsing 来解析一种名为 pig 的语言。当输入文本中有一些 '\t' 时，我在使用函数 'lineno' 时发现了一些意想不到的结果。

为了方便提问，我简化了代码来解决问题：

#/usr/bin/env python
from pyparsing import *

ident = Word(alphas)
statement1 = ident + Literal('=')+ Keyword('GENERATE', caseless = True) + SkipTo(Literal(';'),ignore = nestedExpr())+ Literal(';').suppress()
statement2 = Keyword('STORE',caseless = True) + ident + Literal(';').suppress()
statement = statement1|statement2

text = """
fact = GENERATE
('Exp' :(a
                )
)  ;

STORE fact ;


"""

all_statements = statement.scanString(text)
for tokens,startloc,endloc in all_statements:
        print 'startloc:' + str(startloc) , 'lineno:' + str(lineno(startloc,text))
        print 'endloc:' + str(endloc), 'lineno:' + str(lineno(endloc,text))
        print tokens

请注意，在输入文本中，第三行开头有超过 3 个 '\t' 当我运行它时，输出是：

startloc:1 lineno:2
endloc:66 lineno:10
['fact', '=', 'GENERATE', "('Exp' :(a\n                                )\n)  "]
startloc:68 lineno:10
endloc:80 lineno:10
['STORE', 'fact']

这应该是错误的，因为总共有9行，它说第一个语句是从第2行到第10行。我碰巧发现当我删除那些'\ t'时，输入文本是：

text = """
fact = GENERATE
('Exp' :(a
)
)  ;

STORE fact ;


"""

我再次运行它，结果是：

startloc:1 lineno:2
endloc:34 lineno:5
['fact', '=', 'GENERATE', "('Exp' :(a\n)\n)  "]
startloc:36 lineno:7
endloc:48 lineno:7
['STORE', 'fact']

而且这个结果似乎是正确的，第一个语句是从第 2 行到第 5 行，第二个语句是从第 7 行到第 7 行。这是我的预期。

所以我认为 lineno() 函数或 scanString 可能有问题。或者我的代码可能有问题？

4

1 回答 1

1

在调用之前使用parseWithTabsscanString。

于 2013-06-14T05:49:17.947 回答