14

我们需要通过在 C/C++ 中实现特定算法来解决的大多数科学计算问题都需要远低于双精度的精度。例如1e-61e-7精度涵盖99%ODE 求解器或数值积分的情况。即使在我们确实需要更高精度的极少数情况下,通常数值方法本身在我们梦想达到接近双精度的精度之前都会失败。示例:由于舍入误差,即使在求解标准的 nostiff 常微分方程时,我们也不能期望简单的 Runge-Kutta 方法具有 1e-16 的精度。在这种情况下,双精度要求类似于要求对错误答案有更好的近似。

然后,在大多数情况下,激进的浮点优化似乎是双赢的局面,因为它使您的代码更快(快得多!),并且不会影响特定问题的目标准确性。也就是说,要确保特定的实现/代码对 fp 优化保持稳定似乎非常困难。经典(并且有些令人不安)的例子:GSL,GNU 科学库,不仅是市场上的标准数值库,而且它是一个写得很好的库(我无法想象自己做得更好)。然而,GSL 对 fp 优化并不稳定。实际上,例如,如果您使用 intel 编译器编译 GSL,则其内部测试将失败,除非您打开-fp-model strict关闭 fp 优化的标志。

因此,我的问题是:是否有编写针对激进浮点优化稳定的代码的一般准则。这些指南是否特定于语言(编译器)。如果是这样,什么是 C/C++ (gcc/icc) 最佳实践?

注 1:这个问题不是问 gcc/icc 中的 fp 优化标志是什么。

注意 2:这个问题不是询问 C/C++ 优化的一般准则(比如不要对经常调用的小函数使用虚函数)。

注意 3:这个问题不是询问大多数标准 fp 优化的列表(如 x/x -> 1)。

注 4:我坚信这不是类似于经典的“最酷的服务器名称”的主观/题外话问题。如果您不同意(因为我没有提供具体的示例/代码/问题),请将其标记为社区 wiki。我对答案比获得一些状态点更感兴趣(不是它们不重要 - 你明白了!)。

4

1 回答 1

13

编译器制造商-ffast-math通过断言这些优化对数值稳定算法的影响是最小的来证明这种优化的合理性。

因此,如果您想编写对这些优化具有鲁棒性的代码,则充分条件是仅编写数值稳定的代码。

现在你的问题可能是,“我如何编写数值稳定的代码?”。这是您的问题可能有点宽泛的地方:有整本专门针对该主题的书籍。我已经链接到的维基百科页面有一个很好的例子,是另一个很好的例子。我不能特别推荐一本书,这不是我的专业领域。

注 1:数值稳定性的需要超出了编译器优化。如果您有选择,即使您不打算使用-ffast-math-style 优化,也要编写数值稳定的代码。即使使用严格的 IEEE 754 浮点语义编译,数值不稳定的代码也可能提供错误的结果。

-ffast-math注意 2:当使用-style 标志编译时,您不能期望外部库能够工作。这些由浮点专家编写的库可能需要利用 IEEE 754 计算的特性来玩一些微妙的技巧。这种技巧可能会被-ffast-math优化破坏,但即使您允许编译器,它们也会比您期望的编译器提高性能。对于浮点计算,具有领域知识的专家每次都胜过编译器。其中的一个例子是CRlibm中的三双实现。如果未使用严格的 IEEE 754 语义编译此代码,则会中断。编译器优化破坏的另一个更基本的算法是Kahan summation:当使用不安全的优化编译时,c = (t - sum) - y被优化为c = 0. 当然,这完全违背了算法的目的。

于 2013-10-27T13:57:47.323 回答