我有一个 2Gig 文本文件。在我的程序中，我使用 mmap 逐行读取，并形成一个有序字典。完成程序大约需要 40 分钟。我正在考虑这里的并发方式以减少时间。程序将按文件大小将文件分成 50 半。并且，一次将数据块传递给每个线程。并且，由 50 个线程解析的所有块都将更新一个全局字典。块中可能存在重复数据，这是必要的。我担心的是，是否会有任何数据丢失，或者此代码的后果是什么。提供建议或替代解决方案。提前致谢
我有一个 2Gig 文本文件。在我的程序中，我使用 mmap 逐行读取，并形成一个有序字典。完成程序大约需要 40 分钟。我正在考虑这里的并发方式以减少时间。程序将按文件大小将文件分成 50 半。并且，一次将数据块传递给每个线程。并且，由 50 个线程解析的所有块都将更新一个全局字典。块中可能存在重复数据，这是必要的。我担心的是，是否会有任何数据丢失，或者此代码的后果是什么。提供建议或替代解决方案。提前致谢