caffe - 训练时如何处理 caffe 中的“总线错误”？

Question

我正在使用 NVIDIA Jetson TX1 和 caffe 根据我自己的数据训练 AlexNet。我有 104,000 个训练图像和 20,000 个验证图像输入我的模型。测试和训练的批量大小为 16。

我运行求解器进行训练，Bus error经过 1300 次迭代后得到：

.
.
.
I0923 12:08:37.121116 2341 sgd_solver.cpp:106] Iteration 1300, Ir = 0.01
*** Aborted at 1474628919 (unix time) try "date -d @1474628919" if you  are using GNU date ***
PC: @                0x0 (unknown)
*** SIGBUS (@0x7ddea45000) received by PID 2341 (TID 0x7faa9fdf70) from  PID 18446744073149894656; stack trace: ***
    @       0x7fb4b014e0 (unknown)
    @       0x7fb3ebe8b0 (unknown)
    @       0x7fb4057248 (unknown)
    @       0x7fb40572b4 (unknown)
    @       0x7fb446e120 caffe::db::LMDBCursor::value()
    @       0x7fb4587624 caffe::DataReader::Body::read_one()
    @       0x7fb4587a90 caffe::DataReader::Body::InternalThreadEntry()
    @       0x7fb458a870 caffe::InternalThread::entry()
    @       0x7fb458b0d4 boost::detail::thread_data<>::run()
    @       0x7fafdf7ef0 (unknown)
    @       0x7fafcfde48 start_thread
Bus error

我使用 ubuntu 14、NVIDIA TegraX1、RAM 3.8 GB。据我了解，这是一个内存问题。您能否更好地解释一下并帮助我如何解决这个问题？如果需要任何其他信息，请告诉我。