问题标签 [precision]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
934 浏览

sql - 使用 Group By 的 MS Access 舍入精度

为什么每个月员工的平均得分加起来不等于员工得分的平均分(曾经)?

平均的

返回80.737


按月平均

退货

我知道 80.737 是正确的,因为我手工计算了记录并做了平均。但是这个表的平均值(小数点后 3 位)是 80.56,这离得太远了。分组是否与每一步的舍入混淆?

0 投票
6 回答
995 浏览

visual-studio - 为什么 Visual Studio 2008 告诉我 .9 - .8999999999999995 = 0.00000000000000055511151231257827?

当我在 Visual Studio 2008 即时窗口中键入此内容时:

? .9 - .8999999999999995

它给了我这个答案:

0.00000000000000055511151231257827

文档说 double 具有 15-16 位精度,但它给了我一个 32 位精度的结果。所有这些额外的精度是从哪里来的?

0 投票
7 回答
209 浏览

c# - 建议一种在 C# 中获得高精度数字的好方法

我正在对一个项目进行编程,我应该将用户的密钥存储到机器的初始配置中,我想用 C# 编写它。

我有一个初始配置,它由两个数字 R 和 X0 组成,R = 3.9988 和 X0 = 0.5。我想将用户密钥添加到这些数字。例如:

键:hos110 =>

  • R = 3.9988104111115049049048
  • X0 = 0.5104111115049049048

104111115049049048 是连接的密钥的 ASCII 码。

我怎样才能存储这些数字?

有没有更好的方法来做到这一点?

更新:MATLAB 怎么样?

0 投票
2 回答
1648 浏览

c++ - 限制 std::cout 中 boost::options_description 中默认值的精度

当我构造一个 boost::options_description 实例时

后来想要自动输出可用于我的程序的选项,然后放

默认值 0.2 显示的精度太高,当我有长变量名时,这会有效地混淆我的输出:

不幸的是,之前对 std::cout.precision 的调用没有帮助:

这仍然导致相同的输出:/

您对如何将默认值的显示限制为更少的位置有什么想法吗?

最好的问候,克里斯蒂安

0 投票
11 回答
11647 浏览

java - Java 和 SQL Server 中的精确噩梦

我一直在为 Java 和 SQL Server 中的精确噩梦而苦苦挣扎,直到我不再知道为止。就个人而言,我理解这个问题及其根本原因,但向全球另一端的客户解释这一点是不可行的(至少对我而言)。

情况是这样的。我在 SQL Server 中有两列 - Qty INT 和 Price FLOAT。这些值是 - 1250 和 10.8601 - 所以为了获得总值,它的数量 * 价格和结果是 13575.124999999998(在 Java 和 SQL Server 中)。这是正确的。问题是——客户不想看到那个,他们只看到这个数字 13575.125 就是这样。在一个地方,他们以 2 位小数精度查看它,另一个以 4 位小数显示。当以 4 位小数显示时,数字是正确的 - 13575.125,但当以 2 位小数显示时,他们认为它是错误的 - 13575.12 - 应该改为 13575.13!

帮助。

0 投票
5 回答
3636 浏览

php - 浮点数在 MySQL 中不正确

我将“35444650.00”作为浮点数输入到我的 MySQL 中,它不断重新格式化为 35444648.00,欢迎任何帮助...

0 投票
2 回答
470 浏览

c# - ODP ADO.NET 驱动程序在字符串表示中返回带有额外零的十进制

今天的问题如下:我们在Oracle数据库中有一张表。该表包含一个类型为 Number(18, 3) 的字段。

从表面上看,从所述现场保存和加载数据都非常有效。但是,进一步检查显示,其中包含三个十进制数字(例如 500.001)的数字是从数据库中读取的,使得十进制的字符串表示具有第四个零数字(例如 500.0010)。只要第三个十进制数字非零,这似乎就会发生。

出于数学目的,这不是问题。但是,我们有验证器通过将十进制数转换为字符串然后计算十进制位数来验证十进制数中的十进制位数。由于这条特定的数据被定义为最多三个十进制数字,因此额外的零会导致验证错误。

由于我无法更改验证器,我想知道是否有一种干净的方法可以在没有额外零的情况下获得小数,除了将数字转换为字符串、修剪尾随零然后重新解析它?还是我应该做一些完全不同的事情?

0 投票
2 回答
1339 浏览

c# - 从十进制数据在 C# 中创建图像或图形?

是否可以使用具有不同小数分量的矢量数据来创建图像或图形?而且,当然,如果可能的话……那怎么办?

例如:一个向量有两个点,其中第一点是 {9.56, 4.1},第二点是 {3.456789,2.12345}。

注意:精度因数字而异。

0 投票
9 回答
10676 浏览

precision - 整数和浮点精度

这更像是一个数值分析而不是编程问题,但我想你们中的一些人将能够回答它。

在两个浮点数的总和中,是否有任何精度损失?为什么?

在浮点数和整数的总和中,是否有任何精度损失?为什么?

谢谢。

0 投票
3 回答
1165 浏览

c# - 浮点加法问题

我得到的 totalAmount 答案是 5.97999954 而不是 5.98

为什么会这样?