问题标签 [rounding-error]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
5 回答
3340 浏览

sql - 和除值问题(处理舍入误差)

我有一个售价 4 欧元的产品,我需要将这笔钱分配给 3 个部门。在第二列中,我需要获取该产品的行数并除以部门数。

我的查询:

但是当我对这些值求和时,我得到 3,999999。当然有数百行我有很大的不同......有没有机会定义2个十进制数字并舍入最后一个值?(我的结果是 1.33 1.33 1.34)我的意思是,有什么方法可以调整最后一行?

0 投票
2 回答
2966 浏览

javascript - 有没有办法在Javascript中截断科学记数法数字?

众所周知,因为它是关于 SO 的最受关注的话题之一,所以我遇到了舍入错误的问题(这实际上不是错误,我很清楚)。我将举例说明我有哪些可能的数字以及我希望能够获得哪些输入,而不是解释我的观点:

比方说

输出

我希望能够获得1.5e-8,但我不能只乘以 10e8、四舍五入并除以 10e8,因为我不知道它是 e-8 还是 e-45 或其他任何东西。

所以基本上我希望能够获得1.5000002部分,应用toFixed(3)并放回指数部分。

我可以转换成字符串并解析,但它似乎不正确......

任何的想法 ?


(如果您觉得这是许多重复项之一,我提前道歉,但我找不到类似的问题,只有相关的问题)

盖尔

0 投票
6 回答
12513 浏览

php - PHP 舍入错误

我在我的 linux 服务器上使用 PHP 5.2.13。舍入数字时出现奇怪的错误。这是我的测试用例:

这是结果:

有谁知道这是什么原因造成的?我无法更新 PHP,因为它是共享服务器。

0 投票
3 回答
590 浏览

optimization - Haskell 的有限差异,或如何禁用潜在的优化

我想实现以下天真的(一阶)有限差分函数:

您可能知道,有一个微妙的问题:必须确保这一点,(x + h)并且x相差一个完全可表示的数字。否则,由于涉及灾难性取消这一事实,结果会产生巨大的错误(f $ x + h) - (f x)(并且必须仔细选择h,但这不是我的问题)。

在 C 或 C++ 中,问题可以这样解决:

并且volatile修饰符禁用与变量有关的任何优化temp,因此我们确信“聪明”的编译器不会优化掉这两行。

我对 Haskell 的了解还不够,不知道如何解决这个问题。恐怕

将被 Haskell(或它使用的后端)优化掉。我怎样才能得到volatile这里的等价物(如果可能的话不牺牲懒惰)?我不介意 GHC 的具体答案。

0 投票
1 回答
165 浏览

objective-c - RoundOffTest() 似乎向上和向下舍入

0 投票
4 回答
2238 浏览

c++ - 通过 0.0 时减去浮点数时出错

以下程序:

产生这个输出:

谁能告诉我从 0.2 减去 0.2 时导致错误的原因是什么?这是舍入错误还是其他?最重要的是,如何避免此错误?

编辑:看起来结论是不用担心,因为 5.55112e-17 非常接近于零(感谢@therefromhere 提供的信息)。

0 投票
4 回答
10973 浏览

c# - 无法通过c#代码向sql server表插入十进制

我无法将十进制值插入到 Sql Server 表中。

我想要做的是通过这些代码行自我解释:

插入数据库的值被去除小数位。更具体地说,如果 fileSizeInMBRounded 为 11.73,则插入数据库的值为 11,00

请帮我

感谢期待

0 投票
4 回答
3689 浏览

c++ - C++ 中的舍入错误

可能重复:
为什么十进制数不能用二进制精确表示?

语言 c++ 我正在声明一个数组并在其中保存数字(双精度类型)。然后我开始比较数组中每两个元素之间的差异。例如

所以当我执行以下操作时

条件变为假!!

调试后发现0.05在数组中保存为0.0499......993,情况与0.10和0.15类似

我该如何克服这个问题?

0 投票
1 回答
1050 浏览

floating-point - 减少浮点数(舍入)误差的影响

我们正在实现一些几何算法,但发现浮点数计算误差的影响很大。有没有减少这种影响的指导方针?

算法包含许多部分并且非常复杂。示例之一是计算直线和样条曲线(贝塞尔曲线序列)之间的相交。当线位置接近贝塞尔曲线的终点时,结果不稳定。

谢谢

0 投票
3 回答
24599 浏览

r - 防止 R 舍入

如何防止 R 舍入?

例如,

我在那里丢失了很多信息。我已经尝试过 signif() 并且它似乎没有做我想要的。

提前致谢!

(这是由于我的一个学生试图确定以每秒一个数字数到万亿需要多长时间的结果)