3

作为作业的一部分,我正在尝试在大图上实现 Kosaraju 的算法 [MOOC Algo I Stanford on Coursera]

https://en.wikipedia.org/wiki/Kosaraju%27s_algorithm

当前代码在一个小图上工作,但我在运行时执行期间遇到了 Stack Overflow。

尽管已阅读 F# 专家中的相关章节,或网站和 SO 上的其他可用示例,但我仍然不知道如何使用 continuation 来解决这个问题

下面是通用的完整代码,但是在执行 DFSLoop1 和里面的递归函数 DFSsub 时它已经失败了。我认为我没有使函数尾递归[因为说明

t<-t+1
G.[n].finishingtime <- t

?]

但我不明白如何正确实施延续。

当只考虑失败的部分时,DFSLoop1 将我们将应用深度优先搜索的图作为参数。我们需要将完成时间记录为算法的一部分,以便在第二个 DFS 循环 (DFSLoop2) 中继续进行算法的第二部分 [当然在此之前我们失败了]。

open System
open System.Collections.Generic
open System.IO

let x = File.ReadAllLines "C:\Users\Fagui\Documents\GitHub\Learning Fsharp\Algo Stanford I\PA 4 - SCC.txt";;
// let x = File.ReadAllLines "C:\Users\Fagui\Documents\GitHub\Learning Fsharp\Algo Stanford I\PA 4 - test1.txt";;
// val x : string [] =

let splitAtTab (text:string)=
    text.Split [|'\t';' '|]

let splitIntoKeyValue (A: int[]) = 
    (A.[0], A.[1])

let parseLine (line:string)=
    line
    |> splitAtTab
    |> Array.filter (fun s -> not(s=""))
    |> Array.map (fun s-> (int s))
    |> splitIntoKeyValue

let y =
    x |> Array.map parseLine
 //val it : (int * int) [] 

type Children = int[]
type Node1 =  
     {children : Children ;
      mutable finishingtime : int ;
      mutable explored1 : bool ; 
      }

type Node2 = 
     {children : Children ;
      mutable leader : int ;
      mutable explored2 : bool ; 
      }

type DFSgraphcore    = Dictionary<int,Children>
let directgraphcore  = new DFSgraphcore()
let reversegraphcore = new DFSgraphcore()

type DFSgraph1    = Dictionary<int,Node1>
let reversegraph1 = new DFSgraph1()

type DFSgraph2    = Dictionary<int,Node2>
let directgraph2  = new DFSgraph2()

let AddtoGraph (G:DFSgraphcore) (n,c) = 
    if not(G.ContainsKey n) then 
                              let node = [|c|]
                              G.Add(n,node)
                            else
                               let c'= G.[n]
                               G.Remove(n) |> ignore
                               G.Add (n, Array.append c' [|c|])

let inline swaptuple (a,b) = (b,a)
y|> Array.iter (AddtoGraph directgraphcore)
y|> Array.map swaptuple |> Array.iter (AddtoGraph reversegraphcore)

for i in directgraphcore.Keys do
    if reversegraphcore.ContainsKey(i) then do

               let node = {children = reversegraphcore.[i] ;
                           finishingtime = -1 ;
                           explored1 = false ;
                           }
               reversegraph1.Add (i,node)

        else                                   
               let node = {children = [||] ;
                           finishingtime = -1 ;
                           explored1 = false ;
                           }
               reversegraph1.Add (i,node)

directgraphcore.Clear  |> ignore
reversegraphcore.Clear |> ignore

// for i in reversegraph1.Keys do printfn "%d %A" i reversegraph1.[i].children
printfn "pause"
Console.ReadKey() |> ignore

let num_nodes =
    directgraphcore |> Seq.length


let DFSLoop1 (G:DFSgraph1)  = 
     let mutable t = 0
     let mutable s = -1
     let mutable k = num_nodes

     let rec DFSsub (G:DFSgraph1)(n:int) (cont:int->int) =
     //how to make it tail recursive ???

          G.[n].explored1 <- true
          // G.[n].leader <- s
          for j in G.[n].children do
                       if not(G.[j].explored1) then DFSsub G j cont
          t<-t+1
          G.[n].finishingtime <- t  

     // end of DFSsub

     for i in num_nodes .. -1 .. 1 do
        printfn "%d" i
        if not(G.[i].explored1) then do 
                                    s <- i
                                    ( DFSsub G i (fun s -> s) ) |> ignore
     //   printfn "%d %d" i G.[i].finishingtime

DFSLoop1 reversegraph1

printfn "pause"
Console.ReadKey() |> ignore

for i in directgraphcore.Keys do
    let node = {children = 
                       directgraphcore.[i]
                       |> Array.map (fun k -> reversegraph1.[k].finishingtime)  ;
                leader = -1 ;
                explored2= false ;
                }
    directgraph2.Add (reversegraph1.[i].finishingtime,node)

let z = 0

let DFSLoop2 (G:DFSgraph2)  = 
     let mutable t = 0
     let mutable s = -1
     let mutable k = num_nodes

     let rec DFSsub (G:DFSgraph2)(n:int) (cont:int->int) =

          G.[n].explored2 <- true
          G.[n].leader <- s
          for j in G.[n].children do
                       if not(G.[j].explored2) then DFSsub G j cont
          t<-t+1
          // G.[n].finishingtime <- t  

     // end of DFSsub

     for i in num_nodes .. -1 .. 1 do
        if not(G.[i].explored2) then do 
                                    s <- i
                                    ( DFSsub G i (fun s -> s) ) |> ignore
       // printfn "%d %d" i G.[i].leader

DFSLoop2 directgraph2

printfn "pause"
Console.ReadKey() |> ignore


let table = [for i in directgraph2.Keys do yield directgraph2.[i].leader]
let results = table |> Seq.countBy id |> Seq.map snd |> Seq.toList |> List.sort |> List.rev
printfn "%A" results

printfn "pause"
Console.ReadKey() |> ignore

这是一个带有简单图形示例的文本文件

1 4
2 8
3 6
4 7
5 2
6 9
7 1
8 5
8 6
9 7
9 3

(导致溢出的一个是 70Mo 大,大约有 900,000 个节点)

编辑

首先澄清一些事情这是“伪代码”

输入:以邻接表表示的有向图 G = (V,E)。假设顶点 V 标记为 1、2、3、...。. . , n. 1. 让 Grev 表示所有弧的方向都被反转后的图 G。2. 在Grev 上运行DFS-Loop 子程序,按照给定的顺序处理顶点,得到每个顶点v ∈ V 的完成时间f(v)。3. 在 G 上运行 DFS-Loop 子程序,按照 f(v) 的降序处理顶点,为每个顶点 v ∈ V 分配一个领导者。4. G 的强连通分量对应于 G 的顶点,它们共享一个共同的领导者。 图 2:我们的 SCC 算法的顶层。f 值和领导者分别在对 DFS-Loop 的第一次和第二次调用中计算(见下文)。

输入:以邻接表表示的有向图 G = (V,E)。1. 将全局变量 t 初始化为 0。[这会跟踪已完全探索的顶点数。] 2. 将全局变量 s 初始化为 NULL。[这会跟踪调用最后一次 DFS 调用的顶点。] 3. 对于 i = n 到 1: [在第一次调用中,顶点标记为 1、2、...。. . , n 任意。在第二次调用中,顶点由第一次调用的 f(v) 值标记。] (a) 如果 i 尚未探索:i。设置 s := i ii。DFS(G, i) 图 3:DFS-Loop 子程序。

输入:有向图 G = (V,E),采用邻接表表示,源顶点 i ∈ V。1. 将 i 标记为已探索。[在整个 DFS-Loop 调用期间一直在探索。] 2. 设置 leader(i) := s 3. 对于每个弧 (i, j) ∈ G:(a) 如果 j 尚未探索:i。DFS(G, j) 4. t + + 5. 设置 f(i) := t 图 4:DFS 子程序。f 值只需要在第一次调用 DFS-Loop 时计算,而领导值只需要在第二次调用 DFS-Loop 时计算。

编辑 我已经修改了代码,在经验丰富的程序员(一个 lisper 但没有 F# 经验)的帮助下,稍微简化了第一部分,以便更快地获得一个示例,而无需担心与此讨论无关的代码。

代码只关注算法的一半,运行一次 DFS 以获得反向树的完成时间。

这是代码的第一部分,只是为了创建一个小示例 y 是原始树。元组的第一个元素是父元素,第二个元素是子元素。但我们将使用反向树

open System
open System.Collections.Generic
open System.IO

let x = File.ReadAllLines "C:\Users\Fagui\Documents\GitHub\Learning Fsharp\Algo Stanford I\PA 4 - SCC.txt";;
// let x = File.ReadAllLines "C:\Users\Fagui\Documents\GitHub\Learning Fsharp\Algo Stanford I\PA 4 - test1.txt";;
// val x : string [] =

let splitAtTab (text:string)=
    text.Split [|'\t';' '|]

let splitIntoKeyValue (A: int[]) = 
    (A.[0], A.[1])

let parseLine (line:string)=
    line
    |> splitAtTab
    |> Array.filter (fun s -> not(s=""))
    |> Array.map (fun s-> (int s))
    |> splitIntoKeyValue

// let y =
//    x |> Array.map parseLine

//let y =
//   [|(1, 4); (2, 8); (3, 6); (4, 7); (5, 2); (6, 9); (7, 1); (8, 5); (8, 6);
//    (9, 7); (9, 3)|]

// let y = Array.append [|(1,1);(1,2);(2,3);(3,1)|] [|for i in 4 .. 10000 do yield (i,4)|] 
let y = Array.append [|(1,1);(1,2);(2,3);(3,1)|] [|for i in 4 .. 99999 do yield (i,i+1)|] 



 //val it : (int * int) [] 

type Children = int list
type Node1 =  
     {children : Children ;
      mutable finishingtime : int ;
      mutable explored1 : bool ; 
      }

type Node2 = 
     {children : Children ;
      mutable leader : int ;
      mutable explored2 : bool ; 
      }

type DFSgraphcore    = Dictionary<int,Children>
let directgraphcore  = new DFSgraphcore()
let reversegraphcore = new DFSgraphcore()

type DFSgraph1    = Dictionary<int,Node1>
let reversegraph1 = new DFSgraph1()

let AddtoGraph (G:DFSgraphcore) (n,c) = 
    if not(G.ContainsKey n) then 
                              let node = [c]
                              G.Add(n,node)
                            else
                               let c'= G.[n]
                               G.Remove(n) |> ignore
                               G.Add (n, List.append c' [c])

let inline swaptuple (a,b) = (b,a)
y|> Array.iter (AddtoGraph directgraphcore)
y|> Array.map swaptuple |> Array.iter (AddtoGraph reversegraphcore)

// définir reversegraph1 = ... with....
for i in reversegraphcore.Keys do
    let node = {children = reversegraphcore.[i] ;
                           finishingtime = -1 ;
                           explored1 = false ;
                           }
    reversegraph1.Add (i,node)

for i in directgraphcore.Keys do
    if not(reversegraphcore.ContainsKey(i)) then do                                 
               let node = {children = [] ;
                           finishingtime = -1 ;
                           explored1 = false ;
                           }
               reversegraph1.Add (i,node)

directgraphcore.Clear  |> ignore
reversegraphcore.Clear |> ignore

// for i in reversegraph1.Keys do printfn "%d %A" i reversegraph1.[i].children
printfn "pause"
Console.ReadKey() |> ignore

let num_nodes =
    directgraphcore |> Seq.length

所以基本上图表是 (1->2->3->1)::(4->5->6->7->8->....->99999->10000) 和反向图是 (1->3->2->1)::(10000->9999->....->4)

这是以直接样式编写的主要代码

//////////////////// main code is below ///////////////////

let DFSLoop1 (G:DFSgraph1)  = 
     let mutable t =  0 
     let mutable s =  -1

     let rec iter (n:int) (f:'a->unit) (list:'a list) : unit = 
         match list with 
            | [] -> (t <- t+1) ; (G.[n].finishingtime <- t)
            | x::xs -> f x ; iter n f xs      
     let rec DFSsub (G:DFSgraph1) (n:int) : unit =  
          let my_f (j:int) : unit = if not(G.[j].explored1) then (DFSsub G j) 
          G.[n].explored1 <- true         
          iter n my_f G.[n].children 

     for i in num_nodes .. -1 .. 1 do
        // printfn "%d" i
        if not(G.[i].explored1) then do 
                                    s <- i
                                    DFSsub G i                                                         

        printfn "%d %d" i G.[i].finishingtime

// End of DFSLoop1


DFSLoop1 reversegraph1

printfn "pause"
Console.ReadKey() |> ignore

它不是尾递归的,所以我们使用延续,这里是适应 CPS 风格的相同代码:

//////////////////// main code is below ///////////////////
let DFSLoop1 (G:DFSgraph1)  = 
     let mutable t =  0 
     let mutable s =  -1

     let rec iter_c (n:int) (f_c:'a->(unit->'r)->'r) (list:'a list) (cont: unit->'r) : 'r = 
         match list with 
            | [] -> (t <- t+1) ; (G.[n].finishingtime <- t) ; cont()
            | x::xs -> f_c x (fun ()-> iter_c n f_c xs cont)
     let rec DFSsub (G:DFSgraph1) (n:int) (cont: unit->'r) : 'r=  
          let my_f_c (j:int)(cont:unit->'r):'r = if not(G.[j].explored1) then (DFSsub G j cont) else cont()
          G.[n].explored1 <- true         
          iter_c n my_f_c G.[n].children cont


     for i in maxnum_nodes .. -1 .. 1 do
       // printfn "%d" i
        if not(G.[i].explored1) then do 
                                    s <- i
                                    DFSsub G i id                                                         

        printfn "%d %d" i G.[i].finishingtime


DFSLoop1 reversegraph1
printfn "faré"
printfn "pause"
Console.ReadKey() |> ignore

两个代码都编译并为小示例(注释中的那个)或我们正在使用的同一棵树提供相同的结果,但大小更小(1000而不是100000)

所以我不认为这是算法中的错误,我们有相同的树结构,只是更大的树导致了问题。在我们看来,续篇写得很好。我们已经明确输入了代码。并且所有呼叫在所有情况下都以继续结束...

我们正在寻求专家建议!!!谢谢 !!!

4

3 回答 3

5

我没有试图理解整个代码片段,因为它相当长,但您肯定需要for用使用延续传递样式实现的迭代替换循环。就像是:

let rec iterc f cont list =
  match list with 
  | [] -> cont ()
  | x::xs -> f x (fun () -> iterc f cont xs)

我不明白contDFSub函数中的目的(它从未被调用过,是吗?),但基于延续的版本大致如下所示:

let rec DFSsub (G:DFSgraph2)(n:int) cont =
  G.[n].explored2 <- true
  G.[n].leader <- s
  G.[n].children 
  |> iterc 
      (fun j cont -> if not(G.[j].explored2) then DFSsub G j cont else cont ()) 
      (fun () -> t <- t + 1)
于 2016-01-19T17:12:29.743 回答
2

当你递归数十万个条目时溢出堆栈一点也不坏,真的。许多编程语言的实现会因为比这短得多的递归而窒息。你遇到了严重的程序员问题——没什么好羞耻的!

现在,如果你想做比你的实现更深的递归,你需要转换你的算法,使它是迭代的和/或尾递归的(两者是同构的——除了尾递归允许去中心化和模块化,而迭代是集中式和非模块化)。

要将算法从递归转换为尾递归,这是一项需要掌握的重要技能,您需要了解隐式存储在堆栈帧中的状态,即函数体中在递归过程中发生变化的自由变量,并明确将它们存储在 FIFO 队列中(一种复制堆栈的数据结构,可以简单地实现为链表)。然后,您可以将该具体化框架变量的链接列表作为参数传递给您的尾递归函数。

在更高级的情况下,您有许多尾递归函数,每个函数都有不同类型的帧,而不是简单的自递归,您可能需要为具体的堆栈帧定义一些相互递归的数据类型,而不是使用列表。但我相信 Kosaraju 的算法只涉及自递归函数。

于 2016-01-19T17:15:13.933 回答
0

好的,所以上面给出的代码是正确的代码!问题出在 F# 的编译器上

这是来自微软的一些话 http://blogs.msdn.com/b/fsharpteam/archive/2011/07/08/tail-calls-in-fsharp.aspx

基本上,请注意设置,在默认模式下,编译器可能不会自动进行尾部调用。为此,在 VS2015 中,转到解决方案资源管理器,用鼠标右键单击并单击“属性”(滚动列表的最后一个元素)然后在新窗口中,单击“构建”并勾选“生成”框尾声”

它还用于检查编译器是否完成了使用 ILDASM.exe 进行反汇编的工作

您可以在我的 github 存储库中找到整个算法的源代码

https://github.com/FaguiCurtain/Learning-Fsharp/blob/master/Algo%20Stanford/Algo%20Stanford/Kosaraju_cont.fs

从性能的角度来看,我不是很满意。代码在我的笔记本电脑上运行 36 秒。从其他 MOOCers 的论坛来看,C/C++/C# 通常在亚秒到 5 秒内执行,Java 大约 10-15 秒,Python 大约 20-30 秒。所以我的实现显然没有优化。我现在很高兴听到有关使其更快的技巧!谢谢 !!!!

于 2016-01-24T11:26:25.197 回答