julia - 内置 Flux.jl 方法来获取 NaN

Question

我经常遇到的一件常见事情是我的模型将包含具有 NaN 值的矩阵。是否有一种通用的 Flux 方法可以将我的矩阵传入并检测这些 NaN？我知道 Julia 有一个内置isnan()函数，可以在某些情况下使用，但我不确定是否有特定于 Flux 的版本？

Answer 1

不，没有特定于通量的​​功能。在大多数情况下，使用any(isnan, A)可能是您想要做的。一种与 Flux 相关的“增强”是在检测到 NaN 时使用训练循环回调来停止训练。

# assumes (x, y) is your training data
#  and loss(x, y, mode) will compute the loss of model on (x, y)
cb = () -> isnan(loss(x, y, model)) && Flux.stop()

# basic train loop
# assuming opt is your optimizer
Flux.train!((x, y) -> loss(x, y, model), params(model), [(x, y)], opt; cb = cb)

上面的示例是基本思想，您可以扩展为检查不同数组的 NaN。例如，你可以做

cb = () -> any(params(m)) do p
    any(isnan, p)
end && Flux.stop()

检查是否有任何参数为 NaN。