IEEE-754 中的舍入方法

并非所有實數(shù)都可以精確地存儲為浮點數(shù)。
考慮一個以歸一化浮點數(shù)形式表示的實數(shù)：$x=\pm 1.b_1{b}_2{b}_3...b_n...\times 2^m$，其中 $n$ 是尾數(shù)中的位數(shù)，$m$ 是給定浮點數(shù)系統(tǒng)的指數(shù)。若 $x$ 沒有精確的浮點數(shù)表示，則會用最近的兩個浮點數(shù) $x_{?}$ 或 $x_{+}$ 來表示。

為簡化討論，設(shè) $x$ 為一個正數(shù)。在此情形下，有：$x_{?}=1.b_1{b}_2{b}_3...b_n\times 2^m$ 和 $x_{+}=1.b_1{b}_2{b}_3...b_n\times 2^m+0.\underset{n\text{ 位}}{\underbrace{\mathrm{000000...0001}}}\times 2^m$ ，將實數(shù) $x$替換為附近的機器數(shù)（$x_{?}$或 $x_{+}$）的過程稱為 舍入，其中涉及的誤差稱為 舍入誤差。

IEEE-754 并未明確規(guī)定如何舍入浮點數(shù)，但有幾種不同的方法：

• 向零舍入
• 向正無窮舍入
• 向上舍入
• 向下舍入
• 向最近的浮點數(shù)舍入（向上或向下，取決于哪個更近）
• 截斷舍入

我們將浮點數(shù)表示為$fl(x)$。上述舍入規(guī)則可以總結(jié)如下：

	$x$為正數(shù)	$x$為負數(shù)
向上取整(ceil)	$fl(x)=x_{+}$ 向$+\infty$取整	$fl(x)=x_{?}$ 向$0$取整
向下取整(floor)	$fl(x)=x_{?}$ 向$0$取整	$fl(x)=x_{+}$ 向$?\infty$取整

截斷舍入：$fl(x)=x_{?}$

舍入誤差

注意，兩個機器數(shù)之間的差距為：$|x_{+}?x_{?}|=0.\underset{n\text{ 位}}{\underbrace{\mathrm{000000...0001}}}\times 2^m={?}_m\times 2^m$。因此，我們可以使用機器 epsilon 來限制將實數(shù)表示為機器數(shù)時的誤差。

絕對誤差

$|fl(x)?x|\le |x_{+}?x_{?}|={?}_m\times 2^m$

$|fl(x)?x|\le {?}_m\times 2^m$

相對誤差：

$\frac{|fl(x)?x|}{|x|}\le \frac{{?}_m\times 2^m}{|x|}$

$\frac{|fl(x)?x|}{|x|}\le {?}_m$

浮點運算的數(shù)學性質(zhì)

• 不一定滿足結(jié)合律：$(x+y)+z\ne x+(y+z)$，因為 $fl(fl(x+y)+z)\ne fl(x+fl(y+z))$。

• 不一定滿足分配律：$z?(x+y)\ne z?x+z?y$，因為 $fl(z?fl(x+y))\ne fl(fl(z?x)+fl(z?y))$。

• 不一定滿足累積性：反復(fù)將一個非常小的數(shù)加到一個大數(shù)上可能沒有任何效果。

浮點加法

將兩個浮點數(shù)相加相對簡單。基本思路是：

1. 將兩個數(shù)調(diào)整到相同的指數(shù)。
2. 從前面開始進行小學加法，直到用完系統(tǒng)中的位數(shù)。
3. 對結(jié)果進行舍入。

例如，為了在一個只有 3 位小數(shù)部分的浮點系統(tǒng)中將 $a=(1.101{)}_2\times 2^1$ 和 $b=(1.001{)}_2\times 2^{?1}$ 相加，這將如下所示：
$$\begin{gathered} a=1.101\times 2^1 \\ b=0.01001\times 2^1 \\ a+b=1.111\times 2^1 \end{gathered}$$
你會注意到，我們加了兩個具有 4 位有效數(shù)字的數(shù)，結(jié)果也有 4 位有效數(shù)字。浮點加法中沒有有效數(shù)字的損失。

浮點減法與災(zāi)難性消去

浮點減法的工作原理與加法類似。然而，當減去兩個大小相近的數(shù)時，會出現(xiàn)問題。
例如，為了從 $a=(1.1011{)}_2\times 2^1$ 中減去 $b=(1.1010{)}_2\times 2^1$，這將如下所示：
$$\begin{gathered} a=1.1011????\times 2^1 \\ b=1.1010????\times 2^1 \\ a?b=0.0001????\times 2^1 \end{gathered}$$
當我們對結(jié)果進行歸一化時，得到 $1.????\times 2^{?3}$。沒有數(shù)據(jù)可以指示缺失的數(shù)字應(yīng)該是什么。盡管浮點數(shù)將存儲 4 位小數(shù)部分，但它只準確到 1 位有效數(shù)字。這種有效數(shù)字的損失稱為 災(zāi)難性消去。

示例

考慮函數(shù) $f(x)=\sqrt{x^2+1}?1$。當我們在接近零的值處評估 $f(x)$ 時，可能會由于浮點減法而遇到有效數(shù)字的損失。如果 $x=10^{?3}$，使用五位小數(shù)算術(shù)，$f(10^{?3})=\sqrt{10^{?6}+1}?1=0$。
避免有效數(shù)字損失的一種方法是消除減法：
$f(x)=\sqrt{x^2+1}?1=\frac{(\sqrt{x^2+1}?1)?(\sqrt{x^2+1}+1)}{\sqrt{x^2+1}+1}=\frac{x^2}{(\sqrt{x^2+1}+1)}$
因此，對于 $x=10^{?3}$，使用五位小數(shù)算術(shù)，$f(10^{?3})=\frac{10^{?6}}{2}$。