2

我已经用神经网络求解了一个微分方程。我在下面留下代码示例。我希望能够计算该神经网络相对于其输入“x”的一阶导数，并针对任何“x”评估该导数。

1-请注意，我计算der = discretize.derivative. 这是神经网络对“x”的导数吗？使用这个表达式，如果我输入[first(der(phi, u, [x], 0.00001, 1, res.minimizer)) for x in xs]一些东西，我想知道它是否是导数，但我找不到在数组中提取它的方法，更不用说绘制它了。如何在任何时候评估这个导数，让我们说下面定义为“xs”的数组中的所有点？在下面的更新中，我给出了一种更直接的方法来尝试计算导数（但仍然没有成功）。

2-还有其他方法可以对神经网络的 x 求导吗？

我是 Julia 的新手，所以我在如何操作数据类型方面有点挣扎。感谢您的任何建议！

更新：我找到了一种方法来查看神经网络的符号表达式，执行以下操作：

predict(x) = first(phi(x,res.minimizer))
df(x)      = gradient(predict, x)[1]

在运行两行代码类型predict(x)或df(x)在 REPL 中之后，它会吐出带有解决方案权重和偏差的完整神经网络。但是我无法评估梯度，它会吐出一个错误。如何评估我的函数相对于 x 的梯度predict(x)？

创建神经网络并求解方程的原始代码

using NeuralPDE, Flux, ModelingToolkit, GalacticOptim, Optim, DiffEqFlux
import ModelingToolkit: Interval, infimum, supremum

@parameters x
@variables u(..)

Dx   = Differential(x)
a    = 0.5
eq   = Dx(u(x)) ~ -log(x*a)

# Initial and boundary conditions
bcs  = [u(0.) ~ 0.01]
# Space and time domains
domains           = [x ∈ Interval(0.01,1.0)]
# Neural network
n                 = 15
chain             = FastChain(FastDense(1,n,tanh),FastDense(n,1))
discretization    = PhysicsInformedNN(chain, QuasiRandomTraining(100))
@named pde_system = PDESystem(eq,bcs,domains,[x],[u(x)])
prob              = discretize(pde_system,discretization)

const losses = []
cb = function (p,l)
    push!(losses, l)
    if length(losses)%100==0
        println("Current loss after $(length(losses)) iterations: $(losses[end])")
    end
    return false
end

res  = GalacticOptim.solve(prob, ADAM(0.01); cb = cb, maxiters=300)
prob = remake(prob,u0=res.minimizer)
res  = GalacticOptim.solve(prob,BFGS(); cb = cb, maxiters=1000)
phi  = discretization.phi
der  = discretization.derivative

using Plots

analytic_sol_func(x) = (1.0+log(1/a))*x-x*log(x)
dx                   = 0.05
xs                   = LinRange(0.01,1.0,50)
u_real               = [analytic_sol_func(x) for x in xs]
u_predict            = [first(phi(x,res.minimizer)) for x in xs]
x_plot               = collect(xs)
xconst               = analytic_sol_func(1)*ones(size(xs))
plot(x_plot ,u_real,title = "Solution",linewidth=3)
plot!(x_plot ,u_predict,line =:dashdot,linewidth=2)
4

1 回答 1

1

我找到的解决方案包括在 ForwardDiff 的帮助下区分近似值。

因此，如果神经网络对未知函数的逼近被称为“funcres”，那么我们取它关于 x 的导数，如下所示。

using ForwardDiff
funcres(x) = first(phi(x,res.minimizer))
dxu        = ForwardDiff.derivative.(funcres, Array(x_plot))
display(plot(x_plot,dxu,title = "Derivative",linewidth=3))
于 2021-12-15T22:25:19.477 回答