アカウント名:
パスワード:
世の中のゲームテスターは全部AIに置き換わるという事を示しました。
シーンの構成が単純で、かつユーザの入力操作が極限られるゲームならAIテスターでOKになるかもしれませんが、仮にテストを任せたとしても「何が仕様で何がバグか」をAIが判断できる訳ではないので使い物にならないのでは?
有名なDQ4カジノの裏技 [wikiwiki.jp]とか、バグとして検出できるんですかね?プログラムコードを食わせた方が、オーバーフローバグとして検出してくれるかも。
ショップ系のは 「画面キャプチャから金銭授受を計算」==「実際の金銭授受」 でバグ発見はできそう
「画面キャプチャから金銭授受を計算」を汎用性高く作るのがキモだろうけど
人間のテスターが検出できなかった(だから発売されて「裏ワザ」になった)ものをAIが検出できなかったとしてもそこにケチをつけるのはあまりに不公平では
少なくとも最近のオープンワールドなゲームとか、下手にAIにやらせたら逆に時間かかるというか、速攻で無限ループに嵌りそうだ。
通行判定専門のAIとかならいけそう
3Dマップデータを一旦すべて読み込んで当たり判定の隙間とか重なりをかたっぱしからスキャンして探しだす&その近辺でガンガンキャラをぶち当てるを繰り返すだけでも最近のオープンワールドゲームのバグが結構潰せそうな気はする。
#マフィアとか2077とかなー#あれはあれで楽しめるが。
龍が如くでやってますねhttps://www.famitsu.com/news/202009/11205564.html [famitsu.com]
スラドでもストーリーになってたやつか
龍が如く7、ほぼ全自動のバグ取りシステムを構築 [developers.srad.jp]
全自動テストでここまで可能なら、もっと高度なテストができないとAIとは呼びにくいな
テストってのは考えられる可能性を可能な限り実行して確かめるのが目的だから、全自動でしらみつぶしの方が目的に合ってるだろ。なんでもかんでもAIにした方がいいわけじゃないよ。
スタックとかすり抜けには有効だろうね。検出条件も簡単だし。
ペルソナ5 ザ・ロイヤルの開発中、自動プレイでバグを検出してみた話 [techblog.sega.jp]ペルソナ5でもやってるみたいですね
無限ループに嵌るパターンを発見 == バグ一個発見 じゃない? 同じ操作を人間がやっても無限ループに嵌るんだから。
「何が仕様で何がバグか」を学習させるのがAIじゃないのかしらん
AI「このシナリオは面白くありません。バグであると判定します」 って言われたらシナリオライターが泣いちゃうかも。
せめて「序章の※※※のセリフと、第二章の◆◆◆◆のセリフが矛盾しています」とか拾ってほしいかな。
そのためには、何らかの形で仕様ドキュメントを「理解」させるか、あるいは「ヒトはこういうものをバグと判定した」「これはバグではないと判定した」というデータを喰わせる必要があります
「放っておけば、試合遂行状態のことを不具合だと”感じて”もらえる」という可能性は否定しませんが、それを体験できるほど人の命はおそらく長くありません
試合遂行”不能”状態、だな
あとAIに完全に任せるとキッズみたいに「ただ性能が低い/高い技のこと」をバグだのチートだの判定し始めるだろうしなぁ
バグが発生しているかどうかを機械的に判定できるならね。そして機械的に判定できるなら、ファジングやコードカバレッジテストを無人で走らせておけば良い。
AIと言っても新規のコマンド列は実質ランダム生成なので変化量を抑えたファジングと変わりない。バグが発生するとAIの評価値が高くなる・外れ値を出す場合に限り、AIを回しておいて代表例を「人間が確認する事で」バグが見つかる可能性はある。
スマホ1つでOKなればいいね
カメラがありTensorあり、BLEのPeripheralモードでキーボードマウスになりPCに接続。
ゲーム以外でも勝手に操作して仕事をやってくれるかも
マジレスしちゃうならこの手法だと、テスターのツールにはなり得てもテスターの置き換えにはならんのですよ採点というか「価値」やそのランク付けをヒトが教えないといけない
一つは「バグ」は必ずしもAIに分かりやすくない概念であること今回がそうであるように、この「タイムアップ勝利」は制作者が確認したからバグだと判定されたのであってそうでなければ「無駄に試合時間が長い弱いパターン」に過ぎません。
また、基本が「勝利が至上」(実際は敗北しないことが、だけど)の価値判断になっているので、それに背く行動によるバグも拾えませんまだ古典的な「あらゆるパターンを自動でやらせるブルートフォース」の方がマシになってしまいます
例えば「全てのパターンから選ぶのではなく、ある程度通常/技/移動/その他を選択させる」とかの方が使える(これから外れるパターンはヒトがカバーする)
>一つは「バグ」は必ずしもAIに分かりやすくない概念であること
たとえば カルドセプトサーガみたいな奴だと、今のAIは何も気にせずにそのまま続けそう。
「「カルドセプトサーガ」にダイス目が偶数と奇数を繰り返すバグ」https://srad.jp/story/06/12/06/0155253/ [srad.jp]
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
ナニゲにアレゲなのは、ナニゲなアレゲ -- アレゲ研究家
テスター (スコア:0)
世の中のゲームテスターは全部AIに置き換わるという事を示しました。
Re: (スコア:0)
シーンの構成が単純で、かつユーザの入力操作が極限られるゲームならAIテスターでOKになるかもしれません
が、仮にテストを任せたとしても「何が仕様で何がバグか」をAIが判断できる訳ではないので使い物にならないのでは?
Re:テスター (スコア:1)
有名なDQ4カジノの裏技 [wikiwiki.jp]とか、バグとして検出できるんですかね?
プログラムコードを食わせた方が、オーバーフローバグとして検出してくれるかも。
-- う~ん、バッドノウハウ?
Re: (スコア:0)
ショップ系のは 「画面キャプチャから金銭授受を計算」==「実際の金銭授受」 でバグ発見はできそう
「画面キャプチャから金銭授受を計算」を汎用性高く作るのがキモだろうけど
Re: (スコア:0)
人間のテスターが検出できなかった(だから発売されて「裏ワザ」になった)ものをAIが検出できなかったとしてもそこにケチをつけるのはあまりに不公平では
Re: (スコア:0)
少なくとも最近のオープンワールドなゲームとか、下手にAIにやらせたら逆に時間かかるというか、速攻で無限ループに嵌りそうだ。
Re: (スコア:0)
通行判定専門のAIとかならいけそう
Re: Re:テスター (スコア:1)
3Dマップデータを一旦すべて読み込んで当たり判定の隙間とか重なりをかたっぱしから
スキャンして探しだす&その近辺でガンガンキャラをぶち当てるを繰り返すだけでも
最近のオープンワールドゲームのバグが結構潰せそうな気はする。
#マフィアとか2077とかなー
#あれはあれで楽しめるが。
Re: (スコア:0)
龍が如くでやってますね
https://www.famitsu.com/news/202009/11205564.html [famitsu.com]
Re: Re:テスター (スコア:2, 参考になる)
スラドでもストーリーになってたやつか
龍が如く7、ほぼ全自動のバグ取りシステムを構築 [developers.srad.jp]
全自動テストでここまで可能なら、もっと高度なテストができないとAIとは呼びにくいな
Re: (スコア:0)
テストってのは考えられる可能性を可能な限り実行して確かめるのが目的だから、全自動でしらみつぶしの方が目的に合ってるだろ。
なんでもかんでもAIにした方がいいわけじゃないよ。
Re: (スコア:0)
スタックとかすり抜けには有効だろうね。検出条件も簡単だし。
Re: (スコア:0)
ペルソナ5 ザ・ロイヤルの開発中、自動プレイでバグを検出してみた話 [techblog.sega.jp]
ペルソナ5でもやってるみたいですね
Re: (スコア:0)
無限ループに嵌るパターンを発見 == バグ一個発見 じゃない?
同じ操作を人間がやっても無限ループに嵌るんだから。
Re: (スコア:0)
「何が仕様で何がバグか」を学習させるのがAIじゃないのかしらん
Re: (スコア:0)
AI「このシナリオは面白くありません。バグであると判定します」
って言われたらシナリオライターが泣いちゃうかも。
Re: (スコア:0)
せめて「序章の※※※のセリフと、第二章の◆◆◆◆のセリフが矛盾しています」とか拾ってほしいかな。
Re: (スコア:0)
そのためには、何らかの形で仕様ドキュメントを「理解」させるか、
あるいは「ヒトはこういうものをバグと判定した」「これはバグではないと判定した」というデータを喰わせる必要があります
「放っておけば、試合遂行状態のことを不具合だと”感じて”もらえる」という可能性は否定しませんが、それを体験できるほど人の命はおそらく長くありません
Re: (スコア:0)
試合遂行”不能”状態、だな
あとAIに完全に任せると
キッズみたいに「ただ性能が低い/高い技のこと」をバグだのチートだの判定し始めるだろうしなぁ
Re: (スコア:0)
バグが発生しているかどうかを機械的に判定できるならね。
そして機械的に判定できるなら、ファジングやコードカバレッジテストを無人で走らせておけば良い。
AIと言っても新規のコマンド列は実質ランダム生成なので変化量を抑えたファジングと変わりない。
バグが発生するとAIの評価値が高くなる・外れ値を出す場合に限り、
AIを回しておいて代表例を「人間が確認する事で」バグが見つかる可能性はある。
Re: (スコア:0)
スマホ1つでOKなればいいね
カメラがありTensorあり、BLEのPeripheralモードでキーボードマウスになりPCに接続。
ゲーム以外でも勝手に操作して仕事をやってくれるかも
Re: (スコア:0)
マジレスしちゃうなら
この手法だと、テスターのツールにはなり得てもテスターの置き換えにはならんのですよ
採点というか「価値」やそのランク付けをヒトが教えないといけない
一つは「バグ」は必ずしもAIに分かりやすくない概念であること
今回がそうであるように、この「タイムアップ勝利」は制作者が確認したからバグだと判定されたのであって
そうでなければ「無駄に試合時間が長い弱いパターン」に過ぎません。
また、基本が「勝利が至上」(実際は敗北しないことが、だけど)の価値判断になっているので、それに背く行動によるバグも拾えません
まだ古典的な「あらゆるパターンを自動でやらせるブルートフォース」の方がマシになってしまいます
例えば「全てのパターンから選ぶのではなく、ある程度通常/技/移動/その他を選択させる」とかの方が使える
(これから外れるパターンはヒトがカバーする)
Re: (スコア:0)
>一つは「バグ」は必ずしもAIに分かりやすくない概念であること
たとえば カルドセプトサーガみたいな奴だと、
今のAIは何も気にせずにそのまま続けそう。
「「カルドセプトサーガ」にダイス目が偶数と奇数を繰り返すバグ」
https://srad.jp/story/06/12/06/0155253/ [srad.jp]