アカウント名:
パスワード:
AlphaGO→囲碁のルールは実装していない。ひたすら勝てる手を効率よく捜すことに特化。強化学習も何が正しいか(つまり人間が作った勝てる棋譜)を初期学習させる必要がある。AI「囲碁?何の事か分かりませんが、勝つと言われる状態になる確率が一番高いのはこの手です」
AlphaGO Zero→囲碁のルールを実装している。いわば「教師なし学習」で、AIが目指すひとつの目標。自己学習で強化されるが、初期学習に人の手(棋譜)を使わないのが特徴。AI「俺の経験だと、この手が一番強い」
囲碁のルールを実装していなかったら、ルール違反の手を置いてしまうのでは。
ルール違反の手は即座に負けと判定されて、それを学習するので、実戦ではそういう手はもう打たなくなるだけかと。
AlphaGoはコードだけでは成り立たたず、学習データとセットで評価すべきでしょうから、いわば「コードとしてはルールは記述していないけど、データとしてルールを読み込んでいる」状態といえるでしょう。そういうものを「ルールは実装していない」って言うのは極論じゃね、って話は以前にも書きました [srad.jp]
ルール違反の手を選択肢から最初に除外した方が効率的でしょ。
「ニューラルネットを使う」場合には、「ルール違反の手を選択肢から最初に除外」するのは難しいでしょう。「今までにそのものずばりの盤面は遭遇したことないないけど、似た盤面では学習済み」な場合にでも答えを出せるのがニューラルネットの特徴なわけで、どんな状況でも「出力意味割り当てが同じ」にしないといけません。
盤面の状況に応じて、それぞれの盤面で打てる選択肢だけを出力させるとなると、ある盤面ではニューラル出力の1番は1の二、2番は3の四、3番は3の六、…に対応させ別の盤面ではニューラル出力の1番は3の四、2番は3の六、3番は4の一、…に対応させるみたいなことになって、まともにニューラルネットで学習させることができません。
そうではなく、盤面状況とは無関係に、どんな盤面でも共通してニューラル出力の1番は1の1、2番は1の二、3番は1の三、…に対応させるしかないでしょう。
で、こういう出力割り当てだと、普通の細かいルール違反どころか、「既に石があるところに打つ」ことすらニューラルネットの出力選択肢としてはありえる、ということになります。ニューラルネット使う以上は「打てない手を打とうとしたら、即座にマイナスの評価を与えて学習させる」しかない、ってことです。
学習のときは効率的（かどうかわからないけど）でも，対局のときはそうとは限らないんじゃないかな．一手打つごとに，違反の手を除外する複数の規則 (if-then）を処理するより，評価値の一番高い手を選ぶだけですむから．対局のときは時間勝負だし．
評価値の高い物から順にルール違反かどうかを判定していって、違反じゃ無いやつに当たったらそれを指す、でローコストに実装出来そうな気がしたけど、そのやり方だと、評価値の高い物からずらっと、「最強の反則手」が候補として並んじゃうか(笑)。もし打てたら強すぎるとか、千日手で永遠に負けなくなるから反則になってるんだし。
実際に打てない手ばっかり出てくるようじゃ、効率良く探索できるはずもないから、候補の探索に反則避けを組み込むのは必須か。
ああ，これ理解してもらえないパターンだ．
実際に打てない手に即時報酬として負の無限大を与えれば，その手の評価値は必然的に小さくなるから，候補に挙がってこない．それがおおもとのコメントの「ルール違反の手は即座に負け」の意味するところではないかと．なので，探索に反則負けを組み込む必要はありません．
いえ、「反則避け」と書きました。表現が紛らわしかったですが、避ける具体的な方法はそんな感じかなと。
「ルール違反の手は即座に負けと判定されて、それを学習する」という風にはなってません。アルファベータとか知らないんですか？
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
私はプログラマです。1040 formに私の職業としてそう書いています -- Ken Thompson
AI「今度の俺は囲碁に詳しいから知ってるんだッ!!･･･」 (スコア:0)
AlphaGO
→囲碁のルールは実装していない。ひたすら勝てる手を効率よく捜すことに特化。
強化学習も何が正しいか(つまり人間が作った勝てる棋譜)を初期学習させる必要がある。
AI「囲碁?何の事か分かりませんが、勝つと言われる状態になる確率が一番高いのはこの手です」
AlphaGO Zero
→囲碁のルールを実装している。いわば「教師なし学習」で、AIが目指すひとつの目標。
自己学習で強化されるが、初期学習に人の手(棋譜)を使わないのが特徴。
AI「俺の経験だと、この手が一番強い」
Re: (スコア:2)
囲碁のルールを実装していなかったら、ルール違反の手を置いてしまうのでは。
Re:AI「今度の俺は囲碁に詳しいから知ってるんだッ!!･･･」 (スコア:1)
ルール違反の手は即座に負けと判定されて、それを学習するので、実戦ではそういう手はもう打たなくなるだけかと。
AlphaGoはコードだけでは成り立たたず、学習データとセットで評価すべきでしょうから、いわば「コードとしてはルールは記述していないけど、データとしてルールを読み込んでいる」状態といえるでしょう。
そういうものを「ルールは実装していない」って言うのは極論じゃね、って話は以前にも書きました [srad.jp]
Re: (スコア:0)
ルール違反の手を選択肢から最初に除外した方が効率的でしょ。
Re:AI「今度の俺は囲碁に詳しいから知ってるんだッ!!･･･」 (スコア:1)
「ニューラルネットを使う」場合には、「ルール違反の手を選択肢から最初に除外」するのは難しいでしょう。
「今までにそのものずばりの盤面は遭遇したことないないけど、似た盤面では学習済み」な場合にでも答えを出せるのがニューラルネットの特徴なわけで、どんな状況でも「出力意味割り当てが同じ」にしないといけません。
盤面の状況に応じて、それぞれの盤面で打てる選択肢だけを出力させるとなると、
ある盤面ではニューラル出力の1番は1の二、2番は3の四、3番は3の六、…に対応させ
別の盤面ではニューラル出力の1番は3の四、2番は3の六、3番は4の一、…に対応させる
みたいなことになって、まともにニューラルネットで学習させることができません。
そうではなく、盤面状況とは無関係に、どんな盤面でも共通して
ニューラル出力の1番は1の1、2番は1の二、3番は1の三、…に対応
させるしかないでしょう。
で、こういう出力割り当てだと、普通の細かいルール違反どころか、「既に石があるところに打つ」ことすらニューラルネットの出力選択肢としてはありえる、ということになります。
ニューラルネット使う以上は「打てない手を打とうとしたら、即座にマイナスの評価を与えて学習させる」しかない、ってことです。
Re: (スコア:0)
ルール違反の手を選択肢から最初に除外した方が効率的でしょ。
学習のときは効率的（かどうかわからないけど）でも，対局のときはそうとは限らないんじゃないかな．
一手打つごとに，違反の手を除外する複数の規則 (if-then）を処理するより，
評価値の一番高い手を選ぶだけですむから．
対局のときは時間勝負だし．
Re: (スコア:0)
評価値の高い物から順にルール違反かどうかを判定していって、違反じゃ無いやつに当たったらそれを指す、
でローコストに実装出来そうな気がしたけど、そのやり方だと、評価値の高い物からずらっと、
「最強の反則手」が候補として並んじゃうか(笑)。もし打てたら強すぎるとか、千日手で永遠に負けなくなるから反則になってるんだし。
実際に打てない手ばっかり出てくるようじゃ、効率良く探索できるはずもないから、候補の探索に反則避けを組み込むのは必須か。
Re: (スコア:0)
ああ，これ理解してもらえないパターンだ．
実際に打てない手ばっかり出てくるようじゃ、効率良く探索できるはずもないから、候補の探索に反則避けを組み込むのは必須か。
実際に打てない手に即時報酬として負の無限大を与えれば，その手の評価値は必然的に小さくなるから，候補に挙がってこない．
それがおおもとのコメントの「ルール違反の手は即座に負け」の意味するところではないかと．
なので，探索に反則負けを組み込む必要はありません．
Re: (スコア:0)
いえ、「反則避け」と書きました。表現が紛らわしかったですが、避ける具体的な方法はそんな感じかなと。
Re: (スコア:0)
「ルール違反の手は即座に負けと判定されて、それを学習する」という風にはなってません。
アルファベータとか知らないんですか？