4

我目前正在研究一种接收文本文件并将文件减少到 ~10 MB 的方法。此方法用于截断日志文件并将它们保持在 10 MB 的限制内。

代码背后的逻辑基本上是这样的……如果文件是 250 MB 或更大，则读取字节直到数组达到 250 MB。将其存储到StringBuilder, 设置位置以供下次读取并重复，直到StringBuilder包含约 10 MB 的数据。然后写出文件，擦除所有数据，只留下最近写入的 10 MB。

为了防止将线切成两半，它会检查最后一条在哪里CrLf，然后从该点向前写出所有数据。

我的问题是在第一次阅读后我无法正确定位自己。它首先正确读取数据，然后当我使用上一次读取的该位置进行下一次迭代时，它“忽略”该位置并再次从文件的开头读取。

If logFile.Length > (1024 * 1024 * 250) Then
    Dim DataToDelete As Integer = logFile.Length - (1024 * 1024 * 250)
    Dim ArrayIndex As Integer = 0
    While DataToDelete > 0
        Using fs As FileStream = New FileStream(logFile.FullName, FileMode.Open, FileAccess.ReadWrite)
            fs.Seek(ArrayIndex, SeekOrigin.Begin)
            If strBuilder.Length < (1024 * 1024 * 250) Then
                Dim bytes() As Byte = New Byte((1024 * 1024 * 250)) {}
                Dim n As Integer = fs.Read(bytes, 0, (1024 * 1024 * 250))
                ArrayIndex = bytes.Length
                Dim enc As Encoding = Encoding.UTF8
                strBuilder.Append(enc.GetString(bytes))
            Else
                If DataToDelete - strBuilder.Length < 0 And strBuilder.Length > (1024 * 1024 * My.Settings.Threshold) Then
                    Dim DataToCut As Integer = strBuilder.Length - (1024 * 1024 * My.Settings.Threshold)
                    While Not (strBuilder.Chars(DataToCut).ToString.Equals(vbCr)) And DataToCut <> 0
                        DataToCut -= 1
                    End While
                    strBuilder.Remove(0, DataToCut)
                    File.WriteAllText(logFile.FullName, strBuilder.ToString)
                Else
                    DataToDelete -= strBuilder.Length
                    strBuilder.Clear()
                End If
            End If
        End Using
    End While
End If
4

2 回答 2

1

对于您正在做的事情，将整个文件加载到内存中是不必要的，而且确实不是一个好主意。最好只读取您打算保留的日志文件部分（最后 10MB）。例如，做这样的事情会更简单、更有效：

Private Sub ShrinkLog(ByVal filePath As String, ByVal maxSize As Integer)
    Dim buffer As String
    If New FileInfo(filePath).Length > maxSize Then
        Using reader As New StreamReader(filePath)
            reader.BaseStream.Seek(-maxSize, SeekOrigin.End)
            buffer = reader.ReadToEnd()
        End Using
        File.WriteAllText(filePath, buffer)
    End If
End Sub

还有其他方法可以做到这一点。如果您要保留文件的较大部分，甚至不将所有内容加载到内存中，而是直接从一个流进入另一个流，效率会更高。此外，这个简单的示例并没有展示如何避免在文件中截断一行，但我相信您可以一次又一次地寻找一个字节，直到找到第一个换行符。

于 2012-10-09T18:15:38.583 回答
0

这是我的最终结果，就像一个魅力！

        Dim Maxsize As Integer = (1024 * 1024 * My.Settings.Threshold)
    For Each logfile In filesToTrim
        Dim sb As New StringBuilder
        Dim buffer As String = String.Empty
        If logfile.Length > Maxsize Then
            Using reader As New StreamReader(logfile.FullName)
                reader.BaseStream.Seek(-Maxsize, SeekOrigin.End)
                buffer = reader.ReadToEnd()
                sb.Append(buffer)
            End Using
            Dim Midpoint As Integer = 0
            While Not (sb.Chars(Midpoint).ToString.Equals(vbCr)) And Midpoint <> sb.Length - 1
                Midpoint += 1
            End While
            sb.Remove(0, Midpoint)
            File.WriteAllText(logfile.FullName, sb.ToString)
        End If
    Next
于 2012-10-09T18:55:28.483 回答