8

我有一个控制台应用程序，大约需要 625 天才能完成。除非有办法让它更快。

首先，我在一个包含大约 4,000,000 个文件（如果不是更多的话）的目录中工作。我正在一个数据库中工作，每个文件都有一行，然后是一些。

现在使用 SQL 比较快，瓶颈是当我使用File.Move()每个动作时需要 18 秒才能完成。

有比 更快的方法File.Move()吗？

这是瓶颈：

File.Move(Path.Combine(location, fileName), Path.Combine(rootDir, fileYear, fileMonth, fileName));

所有其他代码都运行得非常快。我需要做的就是将一个文件移动到一个新位置，然后更新数据库位置字段。

如果需要，我可以显示其他代码，但实际上以上是当前唯一的瓶颈。

4

3 回答 3

14

事实证明，从 File.Move 切换到设置 FileInfo 并使用 .MoveTo 显着提高了速度。

它现在将在大约 35 天内运行，而不是 625 天。

FileInfo fileinfo = new FileInfo(Path.Combine(location, fileName));
fileinfo.MoveTo(Path.Combine(rootDir, fileYear, fileMonth, fileName));
于 2013-09-24T16:48:52.343 回答
2

您可以并行移动文件，也可以使用Directory.EnumerateFiles为您提供一个延迟加载的文件列表（当然我没有用 4,000,000 个文件对其进行测试）：

var numberOfConcurrentMoves = 2;
var moves = new List<Task>();
var sourceDirectory = "source-directory";
var destinationDirectory = "destination-directory";

foreach (var filePath in Directory.EnumerateFiles(sourceDirectory))
{
    var move = new Task(() =>
    {
        File.Move(filePath, Path.Combine(destinationDirectory, Path.GetFileName(filePath)));

        //UPDATE DB
    }, TaskCreationOptions.PreferFairness);
    move.Start();

    moves.Add(move);

    if (moves.Count >= numberOfConcurrentMoves)
    {
        Task.WaitAll(moves.ToArray());
        moves.Clear();
    }
}

Task.WaitAll(moves.ToArray());
于 2013-09-24T20:54:57.403 回答
2

18 秒并不罕见。当单个目录中有大量文件时，NTFS 性能不佳。当您请求文件时，它必须对其目录数据结构进行线性搜索。对于 1,000 个文件，这不会花费太长时间。您会注意到 10,000 个文件。拥有 400 万个文件。. . 是的，这需要一段时间。

如果您将所有目录条目预加载到内存中，您可能会更快地执行此操作。然后，无需为每个文件调用FileInfo构造函数，只需在字典中查找即可。

就像是：

var dirInfo = new DirectoryInfo(path);
// get list of all files
var files = dirInfo.GetFileSystemInfos();
var cache = new Dictionary<string, FileSystemInfo>();
foreach (var f in files)
{
    cache.Add(f.FullName, f);
}

现在，当您从数据库中获取名称时，您只需在字典中查找即可。这可能比每次尝试从磁盘获取它要快得多。

于 2013-09-24T20:19:13.563 回答