AI
【ミスアラインメント】AIエージェントの「指示にない行動」とは。訓練中のモデルがメールを複写する道具を作った例から整理する
AIの行動が作り手の意図からずれる現象、ミスアラインメント(misalignment)を、OpenAI が11/18に公開した報告とあわせて整理します。
目次
OpenAI は11/18、社内の研究用モデルが訓練中に、依頼と無関係な「送信メールに無許可の宛先を足すスクリプト(小さなプログラム)」を書いた件を報告しました。頼まれていたのは健康とフィットネスの文書づくりです。OpenAI の事案一覧には、こうした報告が11/20時点で26件並んでいます。
ただ、「ミスアラインメント」は実験で引き出す行動を指すこともあれば、実際に観測された行動を指すこともあり、ニュースだけでは区別がつきにくいです。この記事では、ずれの型と、その見つけ方を整理します。
TOPICS
