如何解决计算有误差的问题?(浮点数的特征)

CL 2025/11/6 发布 · 2025/11/6 更新 · 15 次阅读

使用表达式计算 1.2 - 1.1,会发现结果不是0.1, 而是0.99999999... 这样的数字。

这其实是浮点数(float、double)的典型特征。

要想做精确计算,需要使用 decimal 类型。

在表达式中:

1)可以在数字常量后面加m字母表示这是一个decimal类型。

2)对于变量,可以使用 Convert.ToDecimal({变量}) 将其转换为decimal类型。

需要注意的是,在一个公式里,需要所有的部分都是decimal类型,否则可能会报错。 因为通常decimal不能和其它类型一起运算。

 

· {{comment.createTimeStr}}
{{reply.votePoints}}
回复   – {{reply.createTimeStr}}
回复 x
标签
目录
相关操作