2

我正在尝试为 DSL 实现一个预处理器，以代码/附加中的 CPP 示例为模型。但是，我没有使用令牌工厂。是必须的吗？调用 emit(token) 不会按预期将令牌注入令牌流。

这是词法分析器：

// string-delimited path  
SPATH     :  '"' (~[\n\r])*? '"'
                {
                 emit();  // inject the current token
                 // launch another lexer on the include file, get tokens,
                 // emit them all at once here
                 List<CommonToken> tokens = Preprocessor.include(getText());
                 if (null != tokens) {
                   for (CommonToken tok : tokens) {
                     emit(tok);
                   }
                 }
               }
      ;

这是包含方法：

@SuppressWarnings("unchecked")
public static List<CommonToken> include(String filename) {
    List<CommonToken> tokens = null;
    try (FileReader fr = openFile(filename.substring(1, filename.length() - 1));
            BufferedReader br = new BufferedReader(fr)) {
        ANTLRInputStream input = new ANTLRInputStream(br);
        PreprocessorLexer lexer = new PreprocessorLexer(input);

        tokens = (List<CommonToken>) lexer.getAllTokens();

    } catch (IOException ioe) {
        log.error("Can't load ~{}~", ioe.getLocalizedMessage());
    }
    return tokens;
}
4

1 回答 1

4

您需要覆盖Lexer.nextToken以提供此功能。在您的词法分析器中，保留一个Deque<Token>尚未由nextToken. 当队列为空时，您的实现nextToken应该根据超类实现返回下一个令牌。

这是一些示例代码。我没有尝试编译或运行它，所以它可能并不完美。

private final Deque<Token> pendingTokens = new ArrayDeque<>();

@Override
public Token nextToken() {
    Token pending = pendingTokens.pollFirst();
    if (pending != null) {
        return pending;
    }

    Token next = super.nextToken();
    pending = pendingTokens.pollFirst();
    if (pending != null) {
        pendingTokens.addLast(next);
        return pending;
    }

    return next;
}
于 2013-08-01T17:52:04.570 回答