0

我一直在尝试为 TF Estimator 实现自定义损失函数，但 TensorFlow 正在返回 NaN 损失。即使将学习率设置为低数字 (1e-10) 或 0，也会发生这种情况。当强制将梯度设置为 0 时，神经网络会工作，这意味着梯度存在问题。我已经检查了数据集的 NaN 值、异常值等。此外，我试图删除任何可能干扰自动微分的函数，但无济于事（例如 map_fn）。还有什么可能导致这些问题？

  • 损失函数不会对神经网络的所有预测进行同等加权；在生成损失时会多次考虑某些预测
  • 损失函数还需要不通过神经网络运行的特征

错误信息：

tensorflow.python.training.basic_session_run_hooks.NanLossDuringTrainingError: NaN loss during training.
4

0 回答 0