tensorflow - 当我处理超过 1.5 Gig CSV 时，张量流数据验证在 4 核机器上崩溃

Question

我正在尝试在数据集 (CSV) > 2 Gig 上运行张量流数据验证功能。一段时间后它崩溃了。如果数据集在 1 Gig 左右，它运行得很好。如何在不使用云数据流服务的情况下处理大型数据集。

Answer 1

您的 PC 的 RAM 是多少？您想在 Tensorflow 数据验证中使用哪个功能？

要利用 PC 的所有核心进行处理，您可以尝试以下功能：

tfdv.generate_statistics_from_dataframe(dataframe,   stats_options=options.StatsOptions(), n_jobs= -1)

如果您设置该参数，n_jobs = -1它将使用您 PC 的所有 4 个 CPU 内核。