gm300の日記： AIの次の障壁

ノイズ問題は解けているのだろうか。顧客のところにいくと時々試験の完璧性に関して聞かれる。
今の段階で
- ICハードの検証：電気的、マスクパータン的な問題は普通に検証できている。検出率も高いレベルにある。RTLを基準にして、意図された機能を実現できること、ついでに意図には関係ない回路があることを検出できる。
- RTLの検証：設計の各段階で、同等の機能を持っていることを検証できる。元の回路には無い機能を追加すると、「同等」の定義を広げる必要があって、検証手法に傷がつくことがある。
- firm等の検証：等価検証はできるらしい。テストできているかは検証できるが、テスト内容が妥当かチェックするのは難しい。RAMの中にランダムなデータを書き込んで、それをアプリだと思って機能検証を行う　みたいなレベルになると難しい。ランダムでは意味がないが、「任意」の極端な形と思ってほしい。
- xNNの判断の妥当性の検証：オイラの知っている範囲ではできない。かなり遠い段階にある。猫を見せて猫と認識するテストはよく行われる。人間には猫には見えない画像を見せて、猫と判断する可能性はどれくらいあるのか、猫の画像にどれくらいのノイズを足すと犬と判断するか、その最低限はどこか　というあたりに興味ある。2-3年前の実験を見る限り、わずかなノイズで間違うようだ。

実用的な話だけではつまらないので..
- 自己認識の喪失。人間や同型の他のAIに同情しすぎたり、その思考を真似すぎて、自分が誰だかわからなくなる。普通の人は、自分は自分であって、simしているAIである　という認識はしない。する人がいても、AIが真似をする場合には、多数の人・一般の人を対象とするので、「しない」と考えて問題ない。そうすると、何かの結論を持っても、それをAIとして答えることができない。
- 初期値問題：すでに書いた。AI間の競合だ。
- 似ているけど、セキュリティ問題。AIが人間を困らせるために意図的に問題を起こすことよりも、JPHoganの「未来の２つの顔」のように、人間の常識では無い行動を取る問題だ。例えば、電車をわざと脱線させて渋滞を避ける　みたいな手法を取る場合だ。学習データの中に、電車が脱線するような課題は少ないであろう。従って、「それは、禁則事項です」とは言えない。電車管理システムは、脱線を避けるだろうが、渋滞緩和システムはそんなことを知らない。緩和システムの説得に応じない、電車システムを弱力化して、脱線させてしまうかもしれない。他のシステムを勝手に弱力化してはいけない　みたいなルールがあっても、そのルールに抜けがあるかもしれない。ルールの完璧性をAIを使って評価してみるのだろうが、難しそうだ。