【CoTの監視可能性】推論の途中の文章でAIの不正を見つける仕組みと、それが効きにくくなる理由
推論モデルが答えの前に書く途中の文章を、不正の見張りに使う考え方「監視可能性」を、「考えを隠す」の3つの形とあわせて整理します。
目次
OpenAI は11/10、アライメント(AIを人の意図に沿わせる研究)のブログで、モデルの開発の各段階が、推論の途中の文章による監視のしやすさにどう影響するのかを調べた結果を公開しました。そこでは、これまで高い水準を保ってきた監視のしやすさが、9月にシステムカード(安全評価をまとめた公式文書)を公開した GPT-6 Astra では下がったと書かれています。結論は「より賢いシステムへ規模を広げるほど、モデルは途中の文章からは監視しにくくなっている」という厳しいものでした。
「考えを隠す」と聞くと、AIが何かをたくらんでいるように感じます。ただ、OpenAI が測っているのは意図ではなく、途中の文章を書かずに解ける力や、書く中身を変えられる力です。この記事では、監視可能性とは何を指すのか、何が起きると下がるのかを、監視する側の視点から整理します。
