37

在使用 fslex 和 fsycc 时，是否有一种简单的方法可以让词法分析和解析同时运行？

4

1 回答 1

1

首先，在实际案例中，词法分析和解析是时间关键的。特别是如果您需要在解析之前处理令牌。例如——过滤和收集评论或解决上下文相关的冲突。在这种情况下，解析器通常会等待一个词法分析器。

一个问题的答案。您可以使用 MailboxProcessor 同时运行词法分析和解析。

思想的核心。您可以在 mailBoxProcessor 中运行词法分析器。Lexer 应该生成新的令牌，处理并发布它们。Lexer 通常比解析器快，有时它应该等待解析器。解析器可以在必要时接收下一个令牌。下面提供的代码。您可以修改超时，traceStep 以找到最适合您的解决方案。

[<Literal>]
let traceStep = 200000L

let tokenizerFun = 
    let lexbuf = Lexing.LexBuffer<_>.FromTextReader sr                        
    let timeOfIteration = ref System.DateTime.Now
    fun (chan:MailboxProcessor<lexer_reply>) ->
    let post = chan.Post 
    async {
        while not lexbuf.IsPastEndOfStream do
            lastTokenNum := 1L + !lastTokenNum
            if (!lastTokenNum % traceStep) = 0L then 
                let oldTime = !timeOfIteration
                timeOfIteration := System.DateTime.Now
                let mSeconds = int64 ((!timeOfIteration - oldTime).Duration().TotalMilliseconds)
                if int64 chan.CurrentQueueLength > 2L * traceStep then                                                                                  
                    int (int64 chan.CurrentQueueLength * mSeconds / traceStep)  |> System.Threading.Thread.Sleep      
            let tok = Calc.Lexer.token lexbuf
            // Process tokens. Filter comments. Add some context-depenede information.
            post tok
    }   

use tokenizer =  new MailboxProcessor<_>(tokenizerFun)

let getNextToken (lexbuf:Lexing.LexBuffer<_>) =
    let res = tokenizer.Receive 150000 |> Async.RunSynchronously
    i := 1L + !i 

    if (!i % traceStep) = 0L then 
        let oldTime = !timeOfIteration
        timeOfIteration := System.DateTime.Now
        let seconds = (!timeOfIteration - oldTime).TotalSeconds          
    res

let res =         
    tokenizer.Start()            
    Calc.Parser.file getNextToken <| Lexing.LexBuffer<_>.FromString "*this is stub*"

完整解决方案可在此处获得：https ://github.com/YaccConstructor/ConcurrentLexPars在此解决方案中，我们仅演示所描述想法的完整实现。性能比较不是实际的，因为语义计算非常简单，没有令牌处理。

要了解性能比较结果，请查看完整报告https://docs.google.com/document/d/1K43g5jokNKFOEHQJVlHM1gVhZZ7vFK2g9CJHyAVtUtg/edit?usp=sharing 在这里，我们比较了 T-SQL 子集解析器的顺序和并发解决方案的性能。顺序：27 秒，并发：20 秒。

我们也在生产 T-SQL 翻译器中使用这种技术。

于 2014-06-24T11:45:01.523 回答