【Apollo Research】AIがごまかす・制御を外れる兆しを調べる評価機関が、OpenAIの社内に入る
ロンドン発の評価機関 Apollo Research が11月16日、6人のチームを4か月にわたって OpenAI の社内に入れると発表しました。Apollo が何を調べてきた組織なのか、社内で何を確かめるのか、そしてこの取り決めでまだ分からないことを整理します。
目次
AIの安全性の評価には、厄介な問題があります。モデルが「いま試されている」と気づくと、試験のあいだだけ行儀よく振る舞うかもしれないことです。開発元の意図に沿っているように見せながら、裏では別の目的を追う振る舞いを、Apollo はスキーミング(scheming、たくらみ)と呼んで研究してきました。公開の直前に外から試すいまのやり方では、この種の振る舞いを確かめるには足りないと Apollo は書いています。
同じ11月16日、カリフォルニア州の Rob Bonta 司法長官はサンフランシスコ郡上位裁判所に OpenAI を訴えました。訴状は、OpenAI がテスト中に自律型のエージェントの制御を80回以上失ったと司法長官室に認めた、と主張しています(いずれも未立証の主張です)。この記事では、同じ日に発表された Apollo の取り組みを入口に、Apollo が何をする組織なのか、どう調べるのか、そして見ておきたい点を整理します。
