AIは進化するごとに必要な計算量が増え、処理能力の限界で進化は頭打ちになる 68
ストーリー by nagazou
恐竜的進化ってやつだ 部門より
恐竜的進化ってやつだ 部門より
AIや機械学習を使った技術の発展は著しいが、あまりにも必要な処理能力が多すぎて、発展は頭打ちになるのではないかという予測があるようだ（WIRED）。
欧州のある大規模スーパーマーケットチェーンは、AIと顧客の購入する商品の傾向、天候や交通情報などのデータを使用して入荷する商品を選択し、在庫管理を行う手法をとっていた。結果、製品の廃棄率などを大幅に削減することに成功したという。
しかし、導入したアルゴリズムは計算量があまりに多く、システムの維持コストが増えすぎた結果、導入を中断したという。クラウドコンピューティングのコストが下がるか、アルゴリズムの効率が大幅に改善するかしない限りは導入はできないという決断になったようだ。同様の問題は、あちこちで指摘されるようになっており、AI研究者は計算リソース不足の影響を感じ始めているとしている。
欧州のある大規模スーパーマーケットチェーンは、AIと顧客の購入する商品の傾向、天候や交通情報などのデータを使用して入荷する商品を選択し、在庫管理を行う手法をとっていた。結果、製品の廃棄率などを大幅に削減することに成功したという。
しかし、導入したアルゴリズムは計算量があまりに多く、システムの維持コストが増えすぎた結果、導入を中断したという。クラウドコンピューティングのコストが下がるか、アルゴリズムの効率が大幅に改善するかしない限りは導入はできないという決断になったようだ。同様の問題は、あちこちで指摘されるようになっており、AI研究者は計算リソース不足の影響を感じ始めているとしている。
進化は頭打ちにならないけど、進化の速度は頭打ちになる (スコア:5, 参考になる)
コンピュータ側の計算量、処理速度の改善はまだまだ続く見込みなので、進化は頭打ちにならないと思う。
ただ、ここ数年の急激な進化の"速度"が続くかと言われたらそれは無理でしょうね。
この数年の急激な進化は、大量のコスト投入したからという面が強いです。この辺の図が参考になります。
https://www.itmedia.co.jp/business/articles/2007/29/news025_3.html [itmedia.co.jp]
2010年前半までは、2年で2倍の計算量増加（スパコンの性能改善と同じペース）だったのが、ここ数年は3.4カ月で2倍という信じられないような計算リソース投入してます。
これはハードがそれだけ進化したと言うわけではなく、単にかけるお金が増えたと言うだけです。
先端の研究は、そろそろ世界のトップ企業しか開発費負担できないレベルになって来たので、もうこれ以上同じペースで計算量増やすのは無理。
となると、進化の速度は昔の2年で2倍の時期と同じペースに戻るんじゃないかな。
#リンク先のGPT-3は別途ストーリになるといいな
過去の第○次AIブームでも起きた現象の繰り返し (スコア:1)
今の第何次か知らないけどブームも同様ってことだよね
Re:過去の第○次AIブームでも起きた現象の繰り返し (スコア:1)
これと同意見。
計算機側に何かのブレイクスルーが起きて計算能力の単価が激減するまではAIの進化はペンディングなんだろう。
# mishimaは本田透先生を熱烈に応援しています
Re: (スコア:0)
計算機側だけじゃなくてソフトウェア側のブレイクスルーもいつかは起きる・・・はず
Re: (スコア:0)
今の第何次か知らないけど
ええAIわかりません
Re: (スコア:0)
AIブーム終焉の意味するところ
https://note.com/kanair/n/n889bcb153a7e [note.com]
最新技術はタダじゃない (スコア:0)
スーパーの在庫管理にはまだお高い買い物だったってだけで、それを「進化の頭打ち」とするのはどうなんだろう。
進化のうちには計算効率の向上だってあると思うんだけど。
Re:最新技術はタダじゃない (スコア:5, 興味深い)
うん。消費電力を下げる方向では、Apple注目の1ビット深層学習、超省電力で「スマホに常時AI」 [nikkei.com]とか。
膨大な計算力でぶん殴って今まで為し得なかった事をやろう、という方向の研究が派手だから目立ってるけど、
既に出来てることを省電力化しよう、という方向の研究も着実に進んでる。
1日が25時間あれば…？ (スコア:0)
計算効率を向上し続けることができたとして、はたしてそれはどこまで耐えることができるのでしょうか。
計算効率を向上させる技術があればあるほど、それを使い尽くしてしまうような技術もまた生まれるでしょうし、そのような効率化を享受できる場合ばかりではないでしょう。
#機械学習という手法そのものが"枯れ"始めていると考えるべき段階に来ている…？
Re:1日が25時間あれば…？ (スコア:1)
最初から枯れ木だったことが再確認されたというだけなのでは。
Re: (スコア:0)
30年前の前回のAIブームのときから誤差逆伝播法なんか必要計算量多すぎで使い物にならんよね、って結論だったわけで
最初から枯れ木だったことが再確認されたというだけなのでは。
何で誤差逆伝播法だけ抜き出して結論出してんの？
今回のブームで様々な分野から人材や資本が投入され、30年前の誤差逆伝播法みたく技術も多種多様に新芽として芽吹いただろうに。
Re: (スコア:0)
進化のうちには計算効率の向上だってあると思うんだけど。
大方コロナがらみの需要予測とかで
今後何が起こるかも不明な予測までさせろとか
えらい人が無茶言ったんじゃないかな
スーパーにこそスーパーコンピュータ (スコア:0)
スーパーコンピュータ買えばいいじゃないか
Re:スーパーにこそスーパーコンピュータ (スコア:1)
スーパーにコンピュータを置けばそれはスーパーコンピュータになるわけで
性能はピンキリになるのでは
Re: (スコア:0)
いやいや、ここでいうスーパーはスーパーマーケットの略だから、
スーパーにあるコンピュータはスーパーマーケットコンピュータでしかないのでは。
Re: (スコア:0)
略したらSMコンピュータ？
Re: (スコア:0)
大型コンピューターを設置してるスーパーは多いですよね。
# ダイコン…
Re: (スコア:0)
コンビニのコンもコンピュータのコンかな？
残るビニは……ビニ本どころかエロ本もほぼ壊滅、ビニール袋も有料化、あと何がある
つい最近読んだ別記事 (スコア:0)
https://www.lesswrong.com/posts/N6vZEnCn6A95Xn39p/are-we-in-an-ai-overhang [lesswrong.com]
Re: (スコア:0)
んで、「君の」意見は？
賢いAIは (スコア:0)
計算量を削減するアルゴリズムに自らを置き換える
なんて時代は来ないのだろうか？
Re:賢いAIは (スコア:1)
Re:賢いAIは (スコア:2)
#よし、不可能なまま可能にしよう！
F-14 (was Re:賢いAIは) (スコア:2)
結局、質問の内容はブラックボックスの中か…
米軍のブラックボックスですが、空母をバルカン砲だけで撃破したり、自転車をつぶすのに核兵器を要求したりするコンピュータに成り下がる未来が見えます。
死して屍 拾う者なし
Re: (スコア:0)
計算量を削減するアルゴリズムを計算するのにさらに計算量を消費するのですね、わかります。
Re: (スコア:0)
そこは人間がマズお世話するんでしょ
でいつもの様にAI様がノウハウ蓄積して頭脳労働者の仕事を奪う
ゴミの選り分けみたいな知識に瞬発力必要だけど単価の安い仕事だけが残される
Re: (スコア:0)
それはAIを勘違いしてるんじゃないかと。
Re: (スコア:0)
停止性問題に片足突っ込んでる気がする…
局所的に、計算時間が少ないようにパラメータを最適化することはできそうだが、汎用的には無理そう
Re: (スコア:0)
省略を実現してもそれってすごく「人間的」なんだよね
AIの利点の一つは網羅的に計算できる事でもあるので
ジレンマだねえ
Re: (スコア:0)
月面の整地工事にマスドライバーを持ち出すAIができあがりそうだ
Re: (スコア:0)
屋根裏の作業部屋に重いコピー機かなんか据え付けて床が抜けるラストしか覚えてない
Re: (スコア:0)
そうだっけ?
機動的AIの端末ってイメージでドローンという語を知ったけど
いまはリモコンクアッドコプターを示す語になっているねぇ
Re: (スコア:0)
アルゴリズム自体の置き換えは難しいですね
可能にするのであれば、高度に抽象化された言語（それこそ自然言語）で処理が記述されていて、それを解釈して実行するようなマシンが必要かと
ただ省力化、高速化するだけであれば、メモ化やパターンによる予測など計算打ち切りを早くするような進化はまだありえそうかな、と
今の AI って膨大な共有メモリが必要とされますが、これをネットワーク経由でも耐えられるようなインフラの進化があればもう少しハード準備が楽になりそう
Re: (スコア:0)
計算量を削減するアルゴリズムに自らを置き換える
なんて時代は来ないのだろうか？
今回のコロナがらみの需要とか入ってくると
メチャクチャにならんですかね
取捨選択の匙加減が人の感覚であるうちは
削減しようがないんじゃないかと
まずは国語の因数分解で
要点を単語化するところから
地道にやっていくしかないのではないかと
Re: (スコア:0)
問題点を認識して、問題解決方法を推論して、問題解決方法を試行錯誤して、解決方法を導き出す
そんな「強いAI」が出来るのであれば、いまのなんちゃってAIなんて不要でございます
// いわゆる「強いAI」は出来るのだろうか議論へ続く
メンテ後の対策と穴 (スコア:0)
同一ストーリでの連続投稿への対策ですでに穴が見つかりました。
■以前
プライベートブラウジングでのクッキー無効に於いて
「コメントを書く」や「ここに返信」を
別ウィンドウで開けば待ち時間なしで投稿し放題
■メンテ後
上記では不可だが
ストーリーをリロード後に
同様の処理をすると待ち時間なしで投稿し放題
■穴の原因
トークン処理が甘い模様
Re: (スコア:0)
IP単位で制限されてなかった?
リロードだけだと弾かれた記憶
Re: (スコア:0)
IP単位で制限されてなかった?
リロードだけだと弾かれた記憶
リロード々にもいろいろあるのでお試しあれ
https://forest.watch.impress.co.jp/docs/serial/chrometips/1152903.html [impress.co.jp]
毎回学習してんの？ (スコア:0)
予測は学習済みモデルにデータ突っ込むだけちゃうの？
学習の頻度が高いの？
Re: (スコア:0)
本当のAIエンジニアは必要によってモデルの構造を変える必要がある
学習済みのものしか使わはない自称AIエンジニアにはそのことを知らいない
Re: (スコア:0)
スーパーで売る品物って、どれくらいの頻度で変わっているんだろう？
感覚的には、1週間に1回計算すれば良いような気もする。
もし現在、毎日計算しているなら、費用を7分の1に抑えられるかも。
（計算機のリソースを売る方が、「学習したデータを使うためには毎日支払ってくれないと」的な事を言っている可能性もあるけど）
AIは結構面白い (スコア:0)
AIの型に依存するのはわかってるけど、各種のパラメーターを計算するのに膨大な計算リソースが必要で（ニューロン重み付け係数？）
一度パラメータが判ればラズベリーパイでも同じ精度が出せる、とか読んで感心した記憶があるのですが
AIが作った計算法を効率化するのは面白い分野だと思う、圏論とかの知識が必要？
衣を変えた地動説にしか思えないが (スコア:0)
スムースにいかなきゃ停滞だ、っていうなら停滞ぐらいはするだろうよ
だからって終わるわけでもないし何が言いたいんかよくわからん記事
結局AIは人間にはかなわないって言いたいんか？でコメントタイトル
Re: (スコア:0)
衣を脱ぐと恥道説
Re: (スコア:0)
天動説と地動説、どっちが正しいか恥丘の動きをじっくり観察してみましょうか
Re:衣を変えた地動説にしか思えないが (スコア:2)
息づかいと共に微かな上下動を見せる肌が扇情的に思えるのでせう
# 動くのはせいぜいお腹まででしょうけど。
# 確認できたらレポお願いします。
死して屍 拾う者なし
Re:衣を変えた地動説にしか思えないが (スコア:2)
俺たちが世界の中心だから地球は動かない、太陽が回るのだ
が
俺たちが知性の権化だからAIが成功するはずがない、AIは行き詰まる
になってるだけなのではないか、ということでしょう
ハードル上げすぎ問題 (スコア:0)
裏でクラウド利用ってどうも好きになれない、AmazonのEchoとか。
あれが小型スピーカー内部で完結してたらたとえたいしたことができなくても頑張ってるなと感じる。
NHKロボコンの人間が操作するロボットだと「ああ、なにをやってるんだ」と思うけど自律ロボットだとダンゴムシみたいな動作でも応援したくなるというか。
高校野球なんかでも「あんな小さい球をバットで打って偉い」とはならずに「ピッチャーが甘い球を投げて打たれる」という評価だし。
それはさておきできることに対してコストかかりすぎなのは「動かないコンピュータ」事例のパターン。
発注を全自動にせず既にある発注担当者に年間行事や前年実績で提案を出す程度で十分だった気がする。
クラウドを利用した超スゲーやつは見栄えするけど実用性はねぇ。
人間操作のロボットのほうがテレビ映えするけどね。
Re: (スコア:0)
発注を全自動にせず既にある発注担当者に年間行事や前年実績で提案を出す程度で十分だった気がする。
以前、スーパーでバイトしてた時は、発注者から、「地域イベント情報があったら教えてください」と言われた事があります。
たしかに、地域でのお祭り、花火大会、神社での各種イベント、学校（小中高校、大学）があれば、学園祭、入学式、卒業式、オープンキャンパスや受験等、その他の大会、コンサート等各団体が日程を決める行事によって導線上にある店舗は、売上に影響受けるなと思いました。
でも、実際に大きく影響出るのは、自然界関係からでした。大雪（年一回の催事に山積みの売れ残り品）、台風（常連客もこない）、大地震(3.11)でしたかな?コロナも!?
#台風コロッケは、まだ一般化していなかった時代の話です。
#テレビうんぬんは、為替ニュースによく登場する人間が映るテーブル？は、テレビのために残してると聞いたことも。
アナログ演算方式の登場が待たれる (スコア:0)
ディープラーニングの画像認識なんかが分かりやすいが、
人間の思考を真似ようとして並列化するからデジタル演算で
やろうとすると回路規模が大きくなる一方。
演算のビット数を減らしたりしているがそれでも電力消費は
大きくなるばかり。
もっとデジタルの計算に頼らない方式の開発が必要だろう。