【コンピューター操作型のエージェント】API の無い画面を、AI がどう見てどう操作するかを整理する
画面を見てクリックと入力で仕事を進める AI エージェントの仕組みを、医療の事務で使われ始めたニュースとあわせて整理します。
目次
The Decoder の11/17の記事によれば、OpenAI は画面を見て操作する GPT-6 Astra と Luna のエージェントを、医療の事務の作業に使えるようにしました。CVS Health では紹介状や専門医への相談の処理に、保険会社の Cigna Healthcare では10を超えるシステムの患者情報をまとめるのに使われています。エージェントは、クリニックのソフトや保険会社のウェブサイトを、人と同じ画面のまま操作します。
ただ、「画面を操作する AI」が裏で何をしているのか、なぜわざわざ画面を使うのかは、ニュースからは分かりません。OpenAI が示した「94.3%」という数字も、何を測ったものかで意味が変わります。この記事では、コンピューター操作型のエージェントの動き方と、成績の数字の読み方を整理します。
