问题标签 [precision]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 什么类用于货币表示?
我应该使用什么类来表示货币以避免大多数舍入错误?
我应该使用Decimal
,还是简单的内置number
?
有没有Money
我可以使用的支持货币转换的现有课程?
我应该避免的任何陷阱?
math - GPU上的高精度数学
我对使用 HLSL 在 GPU 上实现算法很感兴趣,但我主要担心的一个问题是我想要一个可变的精度级别。是否有可以在 GPU 上实现的模拟 64 位精度和更高精度的技术。
谢谢!
sql-server - 如何修复此 MSS 2008 BULK INSERT 日期时间精度错误?
MS SQL Server 2008 BULK INSERT 到日期时间列在秒部分的小数点后第三位引入错误:输入文件中的 2009-09-19 15:02:41.328 变为 2009-09-19 15:02:41.327数据库。
以下是输入文本文件包含的内容:
这是 BULK INSERT 后表格的样子:
这是代码:
c - C 与 wcalc:精度问题?
考虑以下 C 代码:
它正确打印出 194 ( 0xc2
)。如果我在 中写同样的东西wcalc
,结果是 195,或者0xc3
。这是某种精度错误吗?这是预期的行为吗?floor
和ceiling
功能不起作用......或者,更具体地说,floor
适用于 0xa3,但不适用于 ,0xa1
反之亦然。
任何帮助表示赞赏。谢谢。
java - 用 Java 更好地逼近 e
我想将 e 的值近似为任何所需的精度。做这个的最好方式是什么?我能得到的最多是 e = 2.7182818284590455。任何有关修改以下代码的示例将不胜感激。
python - 具有可变精度的百分比
我想显示一个小数点后三位的百分比,除非它大于 99%。然后,我想显示所有可用的 9 加上 3 个非 9 字符的数字。
我怎么能用 Python 写这个?字符串格式工作得很好,但我需要在最后一个九的"%.8f"
字符串之后保留最后三个字符。
所以:
54.8213% -> 54.821%
95.42332% -> 95.423%
99.9932983% -> 99.99330%
99.99999999992318 -> 99.9999999999232%
java - 为什么在 Java 中存储为 float 和 double 的相同值之间存在差异?
我希望生成以下代码:“ Both are equal
”,但我得到了“ Both are NOT equal
”:
这是什么原因?
c# - .NET 中 Timer 的最大精度是多少?
我想知道 System.Timers 中 Timer 类的精度是多少,因为它是双精度的(这似乎表明您可以有几分之一毫秒)。它是什么?
datetime - 构建比毫秒精度更高的日期时间的更好方法
我刚刚经历了一个意想不到的复杂过程来定义日期时间。
基础数据具有比毫秒更好的精度。
我最终构建了一个最接近秒的中间日期时间,读取它的刻度值(10 000 到毫秒),调整刻度然后创建我真正想要的日期时间。
我期望构造函数将秒数作为双精度数并使用字符串日期/时间格式说明符。两者似乎都不存在。
有人有好的替代方法吗?
haskell - Haskell:强制浮点数有两位小数
使用以下代码片段:
使用 Haskell '98 标准前奏,我如何用两位小数表示结果?
谢谢。