我正在尝试使用 TFX 进行常见的 ML 管道工作。我有点难以实际使用StatisticsGen
组件来检查分析数据统计信息。而在 TFDV 的情况下,我可以直接访问统计信息:
import tensorflow_data_validation as tfdv
stats = tfdv.generate_statistics_from_csv('data.csv', delimiter=',')
stats # This gives a JSON-like output
如果是 TFX 本身,StatisticsGen 会生成一个二进制 FeatureStats.pb 文件artifacts/StatisticsGen/statistics/...
如何从 StatisticsGen 中提取实际统计数据以用于检查数据(或任何其他目的)?我知道交互式上下文可视化统计数据的能力的存在,但这在生产环境中没有帮助。