アカウント名:
パスワード:
・Intel Meteor Lake・Qualcomm Snapdragon X Elite・AMD Ryzen 8000
などCPUにAI推論エンジン必須。過渡的措置としてGPU OK。GeForce RTX 3060で100TOPs。NVIDIAだとTensor必須。
メインPCはグラボ買い替えて他PCはオフでいいかな。
ベンチマークのスコアでいうとApple M3なら動かせるスコアが出せる。アップルの方が実装してくる可能性が高いね。
そろそろAI元年になりそうな予感
全体に言えることなんだけど、TOPs とだけ書かれても INT8 なのか別なのかわからないんだよねこの記事だと「Ryzen 7040 で 20TOPs」って書かれていて、調べた限りでは INT8 っぽいから、Windows 12 で必要なのも INT8 で 45TOPs ってことなんだろうけどで Apple M3 だと FP16/INT16 で 18TOPs って情報は見かけたけど、INT8 でどうなるかはよくわからなかった回路構成次第なんだろうけど、 HPC SYSTEMSのリスト [hpc.co.jp]
RTX3060とMeteor LakeがFP16とINT1でそれぞれ測ったTOPS値で同等だとして、それが15W前後に収まってスタバで何十基もぶん回る時代があと2～3年で本当に来るんですかね…
技術的には十分可能だと思いますよ、4年前時点で専用チップなら 4.8TOPs/W [impress.co.jp] まで出てるし専用命令ありきだろうからデコーダーの負荷もそんなにはないだろうし、メモリ回りはかなり不利かもしれないけどあとはどのぐらいの性能が求められるか、それに必要なコストやダイサイズが見合うかを検討するだけで、45TOPs 必要ってなったらその分だけの回路を積むことになるだけかと今そこまでの性能がないのは、現状のリアルタイム AI 処理だとそこまで求められてなかったってだけだろうし
10年でも怪しいわそんなん発熱とバッテリーと重量の問題を考慮しなくても無理
そこでエッジ向けですよ。
https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jets... [nvidia.com]
orin nanoで40TOPSで15Wだそうで。メモリ8Gはちょっと少ないが、上位モデルを買えば宜し。消費電力も上がるけども。
LLMの学習用に良いのか？とも思うが、ARMなので怖くてなかなか手が出ないなあ。
１世代が２５％アップなので3世代で２倍の性能になる。M６くらいになれば余裕でAIを使いながらソフトも動くようになるつーかアップルレベルだと全自動でやってくれるかもな
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
あつくて寝られない時はhackしろ! 386BSD(98)はそうやってつくられましたよ? -- あるハッカー
「45 TOPs」要件 (スコア:0)
・Intel Meteor Lake
・Qualcomm Snapdragon X Elite
・AMD Ryzen 8000
などCPUにAI推論エンジン必須。
過渡的措置としてGPU OK。
GeForce RTX 3060で100TOPs。
NVIDIAだとTensor必須。
メインPCはグラボ買い替えて他PCはオフでいいかな。
Re: (スコア:0)
ベンチマークのスコアでいうと
Apple M3なら動かせるスコアが出せる。
アップルの方が実装してくる可能性が高いね。
そろそろAI元年になりそうな予感
Re: (スコア:0)
全体に言えることなんだけど、TOPs とだけ書かれても INT8 なのか別なのかわからないんだよね
この記事だと「Ryzen 7040 で 20TOPs」って書かれていて、調べた限りでは INT8 っぽいから、Windows 12 で必要なのも INT8 で 45TOPs ってことなんだろうけど
で Apple M3 だと FP16/INT16 で 18TOPs って情報は見かけたけど、INT8 でどうなるかはよくわからなかった
回路構成次第なんだろうけど、 HPC SYSTEMSのリスト [hpc.co.jp]
Re:「45 TOPs」要件 (スコア:2)
RTX3060とMeteor LakeがFP16とINT1でそれぞれ測ったTOPS値で同等だとして、それが15W前後に収まってスタバで何十基もぶん回る時代があと2～3年で本当に来るんですかね…
Re: (スコア:0)
技術的には十分可能だと思いますよ、4年前時点で専用チップなら 4.8TOPs/W [impress.co.jp] まで出てるし
専用命令ありきだろうからデコーダーの負荷もそんなにはないだろうし、メモリ回りはかなり不利かもしれないけど
あとはどのぐらいの性能が求められるか、それに必要なコストやダイサイズが見合うかを検討するだけで、45TOPs 必要ってなったらその分だけの回路を積むことになるだけかと
今そこまでの性能がないのは、現状のリアルタイム AI 処理だとそこまで求められてなかったってだけだろうし
Re: (スコア:0)
10年でも怪しいわそんなん
発熱とバッテリーと重量の問題を考慮しなくても無理
Re: (スコア:0)
そこでエッジ向けですよ。
https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jets... [nvidia.com]
orin nanoで40TOPSで15Wだそうで。メモリ8Gはちょっと少ないが、上位モデルを買えば宜し。消費電力も上がるけども。
LLMの学習用に良いのか？とも思うが、ARMなので怖くてなかなか手が出ないなあ。
Re: (スコア:0)
１世代が２５％アップなので3世代で２倍の性能になる。
M６くらいになれば余裕でAIを使いながらソフトも動くようになる
つーかアップルレベルだと全自動でやってくれるかもな