1

When I set per_process_gpu_memory from 0.5 to 1.0, there is not enough memory and it will crashed.

1) So, any ideas or suggestions to make it work?

2) Does convert tensorflow code to tensorRT will improve the performance (not for training, only for prediction)?

4

1 回答 1

1
  1. 不要将内存使用设置为 1.0。请记住，TX2 是一个 SoC，CPU 内核和 GPU 都共享一个公共内存池。如果 GPU 使用了 100% 的内存，那么 CPU 就没有内存了，如果我没记错的话，默认操作系统没有为任何交换空间设置。
  2. 有一些基准测试表明，使用 TensorRT 比仅在 TensorFlow 中进行推理时有所改进。理论上，TensorRT 更适合在 GPU 上进行推理，并运行一组特殊的内核，在构建引擎时会选择这些内核。请参阅此处了解一些基准：https ://github.com/NVIDIA-Jetson/tf_to_trt_image_classification
于 2018-09-26T07:05:06.693 回答