问题标签 [precision]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
6 回答
33137 浏览

python - 什么类用于货币表示?

我应该使用什么类来表示货币以避免大多数舍入错误?

我应该使用Decimal,还是简单的内置number

有没有Money我可以使用的支持货币转换的现有课程?

我应该避免的任何陷阱?

0 投票
4 回答
4904 浏览

math - GPU上的高精度数学

我对使用 HLSL 在 GPU 上实现算法很感兴趣,但我主要担心的一个问题是我想要一个可变的精度级别。是否有可以在 GPU 上实现的模拟 64 位精度和更高精度的技术。

谢谢!

0 投票
1 回答
706 浏览

sql-server - 如何修复此 MSS 2008 BULK INSERT 日期时间精度错误?

MS SQL Server 2008 BULK INSERT 到日期时间列在秒部分的小数点后第三位引入错误:输入文件中的 2009-09-19 15:02:41.328 变为 2009-09-19 15:02:41.327数据库。

以下是输入文本文件包含的内容:

这是 BULK INSERT 后表格的样子:

这是代码:

0 投票
4 回答
205 浏览

c - C 与 wcalc:精度问题?

考虑以下 C 代码:

它正确打印出 194 ( 0xc2)。如果我在 中写同样的东西wcalc,结果是 195,或者0xc3。这是某种精度错误吗?这是预期的行为吗?floorceiling功能不起作用......或者,更具体地说,floor适用于 0xa3,但不适用于 ,0xa1反之亦然。

任何帮助表示赞赏。谢谢。

0 投票
8 回答
8209 浏览

java - 用 Java 更好地逼近 e

我想将 e 的值近似为任何所需的精度。做这个的最好方式是什么?我能得到的最多是 e = 2.7182818284590455。任何有关修改以下代码的示例将不胜感激。

0 投票
6 回答
749 浏览

python - 具有可变精度的百分比

我想显示一个小数点后三位的百分比,除非它大于 99%。然后,我想显示所有可用的 9 加上 3 个非 9 字符的数字。

我怎么能用 Python 写这个?字符串格式工作得很好,但我需要在最后一个九的"%.8f"字符串之后保留最后三个字符。

所以:
54.8213% -> 54.821%
95.42332% -> 95.423%
99.9932983% -> 99.99330%
99.99999999992318 -> 99.9999999999232%

0 投票
7 回答
1931 浏览

java - 为什么在 Java 中存储为 float 和 double 的相同值之间存在差异?

我希望生成以下代码:“ Both are equal”,但我得到了“ Both are NOT equal”:

这是什么原因?

0 投票
6 回答
4815 浏览

c# - .NET 中 Timer 的最大精度是多少?

我想知道 System.Timers 中 Timer 类的精度是多少,因为它是双精度的(这似乎表明您可以有几分之一毫秒)。它是什么?

0 投票
2 回答
720 浏览

datetime - 构建比毫秒精度更高的日期时间的更好方法

我刚刚经历了一个意想不到的复杂过程来定义日期时间。

基础数据具有比毫秒更好的精度

我最终构建了一个最接近秒的中间日期时间,读取它的刻度值(10 000 到毫秒),调整刻度然后创建我真正想要的日期时间。

我期望构造函数将秒数作为双精度数并使用字符串日期/时间格式说明符。两者似乎都不存在。

有人有好的替代方法吗?

0 投票
2 回答
15343 浏览

haskell - Haskell:强制浮点数有两位小数

使用以下代码片段:

使用 Haskell '98 标准前奏,我如何用两位小数表示结果?

谢谢。