Google also manages to speed up the machine learning algorithms with the TPUs because it doesn’t need the high-precision of standard CPUs and GPUs. Instead of 32-bit precision, the algorithms happily run with a reduced precision of 8 bits, so every transaction needs fewer transistors.
http://www.eetimes.com/document.asp?doc_id=1329715 [eetimes.com] では “The TPUs are “likely optimized for a specific math precision possibly 16-bit floating point or even lower precision integer math,” Krewell said.
8ビット機? 本当?? (スコア:4, 興味深い)
リンクされてる TechCrunchの記事 [techcrunch.com]の表題に『~なんと、8ビット機だ』とあるけど本当かしら?
原文 [techcrunch.com]見ても
とあるのみで 8ビット機である、みたいな説明は見当たらんのだけど。
Re: (スコア:1)
http://www.eetimes.com/document.asp?doc_id=1329715 [eetimes.com]
では
“The TPUs are “likely optimized for a specific math precision possibly 16-bit floating point or even lower precision integer math,” Krewell said.
意訳:
TPUは、どうやら16ビット浮動小数点の精度あるいはさらに低い精度の整数演算用に特別に最適化されているようだ。と、Krewellは語った。
ってことで訳は正しいですかね
8bitっていう意味ではないですね。
Re:8ビット機? 本当?? (スコア:0)
DeepLearningの用途では、16bitでも十分という用途はたくさんあるそうです。
先日発表されたNVIDIAの新しいGPUも、16bitの演算を高速に実行できることを売りにしています。
研究の分野では、IEEE 754の16bit浮動小数点は使いにくいって話もあります。
指数5bit+仮数10bitなのですが、指数はもっと増やして(ダイナミックレンジを大きく)、仮数はもっと減らして(精度は不要)ほしいそうです。
学習後の利用時には、8bitでも過剰という話も。
Googleの物が8bitかどうかは分かりませんが、精度はもっとばっさりと切ってるかもしれません。