1

我编写了一个简单的小示例，将 1000 万条记录插入 mongodb。我首先让它按顺序工作。然后我查找了如何进行并发，并找到了 goroutines。这似乎是我想要的，但它的行为并不像我预期的那样。我实现了一个 WaitGroup 来阻止程序在所有 goroutine 完成之前退出，但我仍然遇到问题。

所以我将从正在发生的事情开始，然后显示代码。当我在没有 goroutine 的情况下运行代码时，所有 1000 万条记录都可以插入到 mongodb 中。但是，当我添加 goroutine 时，会输入一些不确定的数量.. 通常大约 8500 给或取几百。我检查了 mongodb 日志以查看它是否有问题并且没有任何显示。所以我不确定是不是这样，可能是，只是没有被记录。无论如何，这是代码：

（旁注：我一次只做 1 条记录，但我已经把它分成了一个方法，所以我可以在将来一次测试多条记录。只是还没弄清楚如何用 mongodb然而。）

package main

import (
  "fmt"
  "labix.org/v2/mgo"
  "strconv"
  "time"
  "sync"
)

// structs
type Reading struct {
  Id   string
  Name string
}

var waitGroup sync.WaitGroup

// methods
func main() {
  // Setup timer
  startTime := time.Now()

  // Setup collection
  collection := getCollection("test", "readings")
  fmt.Println("collection complete: " + strconv.FormatFloat(time.Since(startTime).Seconds(), 'f', 2, 64))

  // Setup readings
  readings := prepareReadings()
  fmt.Println("readings prepared: " + strconv.FormatFloat(time.Since(startTime).Seconds(), 'f', 2, 64))

  // Insert readings
  for i := 1; i <= 1000000; i++ {
    waitGroup.Add(1)
    go insertReadings(collection, readings)

    // fmt.Print(".")

    if i % 1000 == 0 {
      fmt.Println("1000 readings queued for insert: " + strconv.FormatFloat(time.Since(startTime).Seconds(), 'f', 2, 64))
    }
  }
  waitGroup.Wait()

  fmt.Println("all readings inserted: " + strconv.FormatFloat(time.Since(startTime).Seconds(), 'f', 2, 64))
}

func getCollection(databaseName string, tableName string) *mgo.Collection {
  session, err := mgo.Dial("localhost")

  if err != nil {
    // panic(err)
    fmt.Println("error getCollection:", err)
  }

  // defer session.Close()

  // Optional. Switch the session to a monotonic behavior.
  // session.SetMode(mgo.Monotonic, true)

  collection := session.DB(databaseName).C(tableName)

  return collection
}

func insertReadings(collection *mgo.Collection, readings []Reading) {
  err := collection.Insert(readings)

  if err != nil {
    // panic(err)
    fmt.Println("error insertReadings:", err)
  }

  waitGroup.Done()
}

func prepareReadings() []Reading {
  var readings []Reading
  for i := 1; i <= 1; i++ {
    readings = append(readings, Reading{Name: "Thing"})
  }

  return readings
}
4

2 回答 2

5

程序执行

一个完整的程序是通过将一个单独的、未导入的包（称为main包）与它导入的所有包链接起来的，传递性的。包main必须具有包名main并声明一个main不带参数且不返回值的函数。

func main() { … }

程序执行从初始化main包开始，然后调用函数main。当函数main返回时，程序退出。它不等待其他（非main）goroutines完成。

您没有为我们提供一个简单、简洁、可编译和可执行的问题示例。这是您的代码的精简版本。

package main

import (
    "fmt"
    "strconv"
    "sync"
    "time"
)

// structs
type Reading struct {
    Id   string
    Name string
}

var waitGroup sync.WaitGroup

func main() {
    // Setup timer
    startTime := time.Now()

    // Setup readings
    readings := prepareReadings()
    fmt.Println("readings prepared: " + strconv.FormatFloat(time.Since(startTime).Seconds(), 'f', 2, 64))

    // Insert readings
    for i := 1; i <= 1000000; i++ {
        waitGroup.Add(1)
        go insertReadings(readings)

        // fmt.Print(".")

        if i%100000 == 0 {
            fmt.Println("100000 readings queued for insert: " + strconv.FormatFloat(time.Since(startTime).Seconds(), 'f', 2, 64))
        }
    }
    waitGroup.Wait()

    fmt.Println("all readings inserted: " + strconv.FormatFloat(time.Since(startTime).Seconds(), 'f', 2, 64))
}

func insertReadings(readings []Reading) {
    waitGroup.Done()
}

func prepareReadings() []Reading {
    var readings []Reading
    for i := 1; i <= 1; i++ {
        readings = append(readings, Reading{Name: "Thing"})
    }
    return readings
}

输出：

readings prepared: 0.00
100000 readings queued for insert: 0.49
100000 readings queued for insert: 1.12
100000 readings queued for insert: 1.62
100000 readings queued for insert: 2.54
100000 readings queued for insert: 3.05
100000 readings queued for insert: 3.56
100000 readings queued for insert: 4.06
100000 readings queued for insert: 5.57
100000 readings queued for insert: 7.15
100000 readings queued for insert: 8.78
all readings inserted: 34.76

现在，逐段备份程序，看看它从哪里开始失败。

于 2013-04-27T11:55:35.837 回答
0

从那以后，我发现这是一个连接问题。mongodb 的驱动程序并没有冒泡它无法获得连接的事实。由于服务器上生成的负载超过了 maxfiles 限制，因此无法获得连接。

于 2013-04-30T15:33:32.470 回答