c++ - ReLU函数在C++上的实现

Question

我实际上正在研究 CNN，我使用 Sigmoid 作为激活函数，但我想使用 ReLU。

我已经使用 Eigen 实现了 ReLU 代码，但它似乎不起作用，你能帮帮我吗？

这是我的代码：

Matrix ReLu(const Matrix & x){

    Matrix A;
    for( int i = 0; i< x.rows(); ++i )
    for (int j=0; i< x.cols(); j++) {
        if (x(i,j) <= 0){
            A(i,j)=(0.0);
        }
        else A(i,j)=(x(i,j));
    }
    return std::move(A.matrix());
}

Matrix ReLu_deriv (const Matrix& y) {
    Matrix B;
    for( int i = 0; i < y.rows(); ++i )
    for (int j=0; i < y.cols() ; j++)
    {
        {
        if (y(i,j) <= 0.0){
            B(i,j)=(0.0);
        }
        else B(i,j)=(1.0);
    }
    return std::move(B.matrix());
}

错误是：

> /usr/include/eigen3/Eigen/src/Core/DenseCoeffsBase.h :365 : Eigen::DenseCoeffsBase<Derived,
> 1>::Scalar& Eigen::DenseCoeffsBase<Derived,
> 1>::operator()(Eigen::Index, Eigen::Index) [with Derived =
> Eigen::Matrix<double, -1, -1>; Eigen::DenseCoeffsBase<Derived,
> 1>::Scalar = double; Eigen::Index = long int]:  l'assertion « row >= 0
> && row < rows() && col >= 0 && col < cols() » a échoué.

Answer 1

您需要先正确初始化临时矩阵：

Matrix ReLu(const Matrix & x){

    Matrix A(x.rows(), x.cols());
    for( int i = 0; i< x.rows(); ++i )
    for (int j=0; j< x.cols(); ++j) {
        if (x(i,j) <= 0){
            A(i,j)=(0.0);
        }
        else A(i,j)=(x(i,j));
    }
    return std::move(A.matrix());
}

Matrix ReLu_deriv (const Matrix& y) {
    Matrix B(y.rows(), y.cols());
    for( int i = 0; i < y.rows(); ++i )
    for (int j=0; j < y.cols() ; ++j)
    {
        if (y(i,j) <= 0.0){
            B(i,j)=(0.0);
        }
        else B(i,j)=(1.0);
    }
    return std::move(B.matrix());
}

Answer 2

在这两个循环中，您都有一个错字：

for( int i = 0; i< x.rows(); ++i )
    for (int j=0; i< x.cols(); j++) { \\ replace i with j
---------------------------------------------------------
for( int i = 0; i< x.rows(); ++i )
    for (int j=0; i< x.cols(); j++) { \\replace i with j