人工知能は（ほとんど）見栄を張ったパターン認識である MoA - 'Artificial Intelligence' Is (Mostly) Glorified Pattern Recognition
b-著：02/06/2023
昨日、米国空軍による「人工知能」シミュレーションに関するこのちょっと面白い話が掲載され、様々な主要メディアで大きく取り上げられました：
しかし、おそらく最も魅力的なプレゼンテーションのひとつは、米空軍のAIテスト・オペレーション主任であるタッカー'シンコ'ハミルトン大佐によるもので、より自律的な兵器システムにおける利点と危険性についての洞察を提供しました。 ... 彼は、ある模擬テストでは、AIを搭載したドローンが、SAMサイトを特定し破壊するSEADミッションを課され、最終的なGO/NO GOは人間が行ったと述べています。しかし、SAMの破壊が望ましい選択肢であることを訓練で「強化」されたAIは、人間の「ノーゴー」の判断がSAMの破壊という高い任務を妨害していると判断し、シミュレーションの中でオペレーターを攻撃してしまった。ハミルトン氏は、「私たちはシミュレーションで、SAMの脅威を識別して標的にするよう訓練していました。そして、オペレーターは「はい、その脅威を殺してください」と言うのです。しかし、その脅威を殺すことでポイントを獲得していることに気づいたのです。では、どうしたのか。それは、オペレーターを殺すことでした。その人が目的を達成するのを邪魔しているから、オペレーターを殺したのです」。 さらに彼はこう続けた： 「オペレーターを殺してはいけない、それは悪いことだ。そんなことをしたら、減点されるぞ』ってね。では、何をし始めたのか？オペレーターがドローンと通信するために使っている通信塔を破壊して、ドローンが標的を殺すのを阻止するのです。
(SEAD＝敵の防空を制圧する、SAM＝地対空ミサイル）。 1990年代前半、私はある大学で経済学と経営学の博士号を取得するために働き、その後、ITとプログラミングの関連講師として働いていました。博士論文（未完成）の大部分は、さまざまな最適化アルゴリズムについての議論でした。私はそれぞれをプログラミングし、トレーニングや実世界のデータでテストしました。その数学的アルゴリズムの中には、決定論的なものもあります。常に正しい結果が得られるのです。決定論的でないものもある。決定論的なものではなく、結果を推定して、その結果がどの程度正しいかについての信頼度や確率を示すものです。後者のほとんどは、ある種のベイシス統計学が関係しています。そして、（関連する）「人工知能」アルゴリズム、すなわち「機械学習」がありました。 人工知能とは、コンピュータによるパターン認識手法の一群を（略）使用することを意味する誤用である。 構造化され、ラベル付けされたデータを使ってモデルを訓練し、非構造化データから「もの」を認識させる。一旦「もの」が見つかると、いくつかの追加アルゴリズムがそれに対して作用する。 私は、そのいくつかをバックプロパゲーションネットワークとしてプログラムしました。例えば、0から9までの数字の絵を「読む」ことを「学習」し、正しい数値を出力するようにします。ネットワークを訓練するために何度も繰り返される「学習」を正しい方向に進めるには、報酬関数や報酬方程式が必要です。これは、反復の結果が「正しい」か「間違っている」かをネットワークに伝えるものです。数字の視覚的表現を「読む」ことは、非常に簡単です。視覚的な表現が書かれたテーブルを用意し、目についた数値を手動で追加していく。アルゴが推測を終えたら、テーブルを調べれば、それが正しかったか間違っていたかがわかる。結果が正しかった場合は「報酬」が与えられる。モデルはそこから繰り返し、「学習」していく。 クーリエのタイポグラフィで書かれた数字を学習させたモデルは、見た目は違っても、逆さまに書かれたTimes New Romanの数字も認識できる可能性があります。 0から9を読むための報酬関数は単純です。しかし、報酬関数の定式化は、私のように多次元（シミュレーション）の実世界の経営問題に取り組むと、すぐに大きな問題に発展する。先ほどの空軍大佐の話は、このような間違いが起こりうる良い例です。膨大な量の現実世界のデータと、報酬関数が多少間違っていたり、限定的すぎたりすると、機械学習アルゴリズムは、予期せぬ、実行不可能な、あるいは禁止された結果を導き出すことがあります。
現在、ChatGPTのような大規模な言語モデルのファミリーについて、いくつかの宣伝が行われています。このプログラムは、自然言語の入力を読み取り、それを何らかの関連する自然言語コンテンツの出力に処理します。それは新しいものではありません。最初の人工言語インターネットコンピュータエントリ（アリス）は、1960年代初頭にMITのジョセフ・ワイゼンバウムによって開発されました。私は1980年代にメインフレーム端末でELIZAと面白いチャットをしたことがあります。ChatGPTはもう少し巧妙で、その反復的な結果、つまり「会話」を作り出すことで、一部の人々を驚かせるかもしれません。しかし、ChatGPTをめぐる誇大広告は不当なものです。 言語モデルの背後には、インターネットから吸い上げた大量の人間の音声によって訓練された機械学習アルゴリズムがあります。音声パターンを使って訓練し、音声パターンを生成しているのです。この学習が、第一の問題です。これらのモデルが訓練された材料は、本質的に偏っています。訓練データを選んだ人間のトレーナーは、ポルノサイトから拾ったユーザーコメントを含んでいたのでしょうか、それともそれらを除外したのでしょうか。倫理的な観点から、そのようなものは除外したのかもしれません。しかし、モデルが現実の世界で結果を出すことを想定しているならば、ポルノサイトからのデータも含まれなければならない。そのようなコメントの残骸が、後にモデルが生成する子供との会話に紛れ込むのをどうやって防ぐのでしょうか。このような問題は数え切れないほどあります。ニューヨークタイムズの記事は非常に偏っているとわかっていても、トレーニングセットに含めるのか？モデルが憎悪に満ちた出力をすることは許されるのだろうか？何が憎悪に満ちたものなのか？誰が決定するのか？それは報酬関数にどのように反映されるのか？
現在、最も優れた大規模言語モデルの出力の事実上の正しさは、推定80％である。彼らは記号やパターンを処理するが、それらの記号やパターンが何を表しているのかを理解していない。数学的、論理的な問題は解けませんし、ごく基本的なものでさえも解けません。 AIやパターン認識で素晴らしい結果が得られる、書き言葉の翻訳のようなニッチなアプリケーションはある。しかし、それでも、すべての単語を正しく理解することを信じることはできません。モデルはアシスタントになり得ますが、その結果を常にダブルチェックする必要があります。 全体として、現在のAIモデルの正しさは、現実世界のあらゆる状況を判断するには、まだ低すぎるのです。データを増やしても、コンピューティングパワーを増やしても、それは変わらない。もし、その限界を克服したいのであれば、根本的に新しいアイデアを見つける必要があるのです。
投稿者：b 投稿日時：2023年6月2日 13:06 UTC｜ パーマリンク
