3

我在 PLY 词法分析器中无法区分 \r (0x0d) 和 \n (0x0a)。

一个最小的例子是以下程序

import ply.lex as lex

# token names
tokens = ('CR', 'LF')

# token regexes
t_CR = r'\r'
t_LF = r'\n'

# chars to ignore
t_ignore  = 'abc \t'

# Build the lexer
lexer = lex.lex()

# lex
f = open('foo', 'r')
lexer.input(f.read())
while True:
    tok = lexer.token()
    if not tok: break
    print(tok)

现在创建一个文件 foo 如下：

printf "a\r\n\r\rbc\r\n\n\r" > foo

验证它看起来没问题：

hd foo
00000000  61 0d 0a 0d 0d 62 63 0d  0a 0a 0d                 |a....bc....|
0000000b

现在我假设我会得到一些 CR 和一些 LF 令牌，但是：

python3 crlf.py 
WARNING: No t_error rule is defined
LexToken(LF,'\n',1,1)
LexToken(LF,'\n',1,2)
LexToken(LF,'\n',1,3)
LexToken(LF,'\n',1,6)
LexToken(LF,'\n',1,7)
LexToken(LF,'\n',1,8)

原来我只得到 LF 代币。我想知道为什么会发生这种情况，以及我应该怎么做。

这是 Ubuntu 12.04 上的 Python 3.2.3

4

1 回答 1

2

您以默认模式打开文件。在该模式下，newline=None, 意味着（除其他外）任何 \r,\n和\r\n被视为行尾并转换为单个\n字符。有关详细信息，请参阅打开的文档。

You can disable this behavior by passing newline='' to open, which means it'll accept any kind of newline but not normalize them to \n.

于 2012-11-01T18:54:35.900 回答