浮動小数点数の誤差を教える問題かと思った (#3136082) | 3.9+5.1= | スラド

この議論は、nemui4 (20313)によってログインユーザだけとして作成されたが、今となっては新たにコメントを付けることはできません。

「3.9+5.1=」記事へのコメント

記事ページを表示すべてのコメント取得

検索20コメント Log In/Create an Account

浮動小数点数の誤差を教える問題かと思った (スコア:1)

by minet (45149) on 2016年12月27日 9時44分 (#3136082) 日記

まず実数リテラルを32ビット精度浮動小数点数に変換して、
5.1
→ 0_10000001_01000110011001100110011
3.9
→ 0_10000000_11110011001100110011001
これらを加算すると、(経過省略)
0_10000010_00011111111111111111111
これを十進に変換すると
→ 8.9999990463…(以下省略)
文字列化する際に7桁で丸められて
→ 8.999999

より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。

アレゲはアレゲを呼ぶ -- ある傍観者