cuda - CUDA 中哪个更快：常量内存或纹理内存？

Question

我知道两者都在片外 DRAM 上并缓存。

但是哪个访问速度更快？或者在什么情况下一个比另一个快？

Answer 1

纹理内存针对 2D 空间局部性（它得名的地方）进行了优化。您可以将恒定记忆视为利用临时性的局部性。

纹理内存相对于常量内存的好处可以总结如下：

• 空间局部性
• 寻址计算可以在硬件内核之外计算
• 数据可以在单个操作中被不同的变量访问
• 8位和16位数据可以自动转换为0到1.0之间的浮点数

有关更多详细信息，请参阅文档。

Answer 2

常量内存针对广播进行了优化，即当 warp 中的线程都读取相同的内存位置时。如果他们正在读取不同的位置，它会起作用，但是经线引用的每个不同位置都会花费更多时间。当向线程广播读取时，常量内存比纹理内存快得多。

纹理内存具有很高的延迟，即使是缓存命中也是如此。你可以把它想象成一个带宽聚合器——如果有可以从纹理缓存中得到服务的重用，GPU就不必为了这些读取而去外部存储器。对于 2D 和 3D 纹理，寻址具有 2D 和 3D 局部性，因此高速缓存行填充会拉入 2D 和 3D 内存块而不是行。

最后，纹理管道可以执行“奖励”计算：处理边界条件（“纹理寻址”）以及将 8 位和 16 位值转换为统一浮点数是可以“免费”完成的操作示例。（它们是纹理读取具有高延迟的部分原因）

Answer 3

根据我的经验，访问纹理内存与访问常量内存一样快。但是纹理内存比常量内存大得多，所以如果你需要存储大量数据，我建议多次使用纹理内存而不是'memcpy'到常量内存中。此外，如果您需要进行插值，纹理内存是最佳选择。

另一方面，常量内存针对warp的所有线程读取相同位置的情况进行了硬件优化。如果线程从多个位置读取，则访问是序列化的。