-1

我需要从 nfcapd 二进制文件中获取有关源 IP 和目标 IP 的信息。问题在于文件的大小。我知道使用 io 或 os 包打开和读取非常大（超过 1 GB）的文件是不可取的。

这是我的黑客和草稿开始：

package main

import (
    "fmt"
    "time"
    "os"
    "github.com/tehmaze/netflow/netflow5"
    "log"
    "io"
    "bytes"
)

type Message interface {}

func main() {
    startTime := time.Now()
    getFile := os.Args[1]
    processFile(getFile)
    endTime := time.Since(startTime)
    log.Printf("Program executes in %s", endTime)
}

func processFile(fileName string) {
    file, err := os.Open(fileName)
    // Check if file is not empty. If it is, then exit from program
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }

    // Useful to close file after getting information about it
    defer file.Close()
    Read(file)
}

func Read(r io.Reader) (Message, error) {
    data := [2]byte{}
    if _, err := r.Read(data[:]); err != nil {
        return nil, err
    }
    buffer := bytes.NewBuffer(data[:])
    mr := io.MultiReader(buffer, r)
    return netflow5.Read(mr)
}

我想将文件拆分为具有 24 个流的块，并在使用netflow 包读取后同时处理它。但我不知道如何在除法期间不丢失任何数据的情况下做到这一点。

如果我错过了代码或描述中的某些内容，请修复我。我花了很多时间在网上搜索我的解决方案并考虑另一种可能的实现。

任何帮助和/或建议将不胜感激。

文件具有以下属性（file -I <file_name>终端中的命令）：

file_name: application/octet-stream; charset=binary

命令后文件的输出nfdump -r <file_name>具有以下结构：

Date first seen          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port   Packets    Bytes Flows

每个属性都在自己的列上。

更新 1： 不幸的是，由于二进制文件结构的差异，通过 nfcapd 将文件保存到磁盘后，无法使用 netflow 包解析文件。这个答案是由nfdump贡献者之一给出的。

现在唯一的方法是在诸如 pynfdump 之类的 go 程序中从终端运行nfdump。

未来另一个可能的解决方案是使用gopacket。

4

1 回答 1

0

IO 几乎总是解析文件时的限制因素，除非涉及大量计算，否则串行读取单个文件将是处理它的最快方法。

将文件包装在 a 中bufio.Reader并将其提供给Read函数：

file, err := os.Open(fileName)
if err != nil {
    log.Fatal((err)
}
defer file.Close()

packet, err := netflow5.Read(bufio.NewReader(file))

解析后，如果需要单独处理块，则可以拆分记录。

于 2016-10-25T15:51:52.033 回答