1

背景- 我想尝试彻底搜索一组所有可能的 250 行组合,一次取 10 行。为了迭代地得到这个,我使用下面的代码

`
## Function definition
gen.next.cbn <- function(cbn, n){
  ## Generates the combination that follows the one provided as input
  cbn.bin      <- rep(0, n)
  cbn.bin[cbn] <- 1
  if (tail(cbn.bin, 1) == 0){
    ind <- tail(which(cbn.bin == 1), 1)
    cbn.bin[c(ind, ind+1)] <- c(0, 1)
  }else{
    ind <- 1 + tail(which(diff(cbn.bin) == -1), 1)
    nb  <- sum(cbn.bin[-c(1:ind)] == 1)
    cbn.bin[c(ind-1, (n-nb+1):n)] <- 0
    cbn.bin[ind:(ind+nb)]         <- 1
  }
  cbn <- which(cbn.bin == 1)
}

## Example parameters
n   <- 40
k   <- 10

## Iteration example
for (i in 1:choose(n, k)){
  if (i == 1){
    cbn <- 1:k
  }else{
    cbn <- gen.next.cbn(cbn, n)

  }
  print(cbn)


}


`

当我超过 40 行时,出现错误“无法分配大小为 n GB 的向量”。

理想的解决方案: a)如果可以转储组合并且可以在循环中的每次运行后迭代地刷新内存(我可以在其中检查进一步的条件)b)如果可以将组合转储到 csv 文件中,这样不会导致一个记忆猪。

谢谢你的支持。

4

1 回答 1

1

正如我在评论中所说,iterpc是完成这样一项任务的方式。您首先需要通过该iterpc函数初始化一个迭代器。接下来我们可以通过 生成下一个n组合getnext。在此之后,我们只需将结果附加到一个csv(或您喜欢的任何文件类型)。

getComboChunks <- function(n, k, chunkSize, totalCombos, myFile) {
    myIter <- iterpc(n, k)

    ## initialized myFile
    myCombs <- getnext(myIter, chunkSize)
    write.table(myCombs, file = myFile, sep = ",", col.names = FALSE)

    maxIteration <- (totalCombos - chunkSize) %/% chunkSize

    for (i in 1:maxIteration) {
        ## get the next "chunkSize" of combinations
        myCombs <- getnext(myIter, chunkSize)

        ## append the above combinations to your file
        write.table(myCombs, file = myFile, sep = ",",
                    col.names = FALSE , append = TRUE)
    }
}

例如,getComboChunks(250, 10, 100, 1000, "myCombos.csv")一次将 250 个选择 10 的 1000 个组合写入文件myCombos.csv100 个组合。分块执行此操作将比一次执行一个更有效。

这个库是用它编写的,C/C++所以它应该相当有效,但正如@Florian 在评论中指出的那样,它不会gmp::chooseZ(250, 10) = Big Integer ('bigz') : [1] 219005316087032475很快产生所有组合。我没有测试过,但如果你满足于 200 选择 5,我认为你将能够在一天之内产生它(它刚刚超过 25 亿个结果)。

于 2018-01-05T17:46:46.613 回答