【Artificial Analysis】AIモデルを同じ条件で測り比べる、独立系の評価会社
11月12日、The Decoder は Google の新モデル Gemini 4 Hydrogen を、Artificial Analysis の独立評価を引きながら報じました。新モデルが出るたびに名前が挙がるこの会社が、どうモデルを測り、どこから収入を得ているのかを整理します。
目次
モデルの発表には、たいてい開発元が自分で測った数字が並びます。たとえば ElevenLabs は11月10日、リアルタイム向けの音声認識 Scribe v3 Live が前の版より誤りが43%少なく、同社が試したほかのリアルタイムモデルより誤りが少ないと発表しました。
ところが Artificial Analysis のリアルタイム音声認識のページ(11/13閲覧)では、Scribe v3 Live の誤り率は2.86%です。前の版(3.59%)より2割ほど低いものの、順位は4番目でした。誰が、どのデータで測るかによって、同じモデルの見え方は変わります。
こうした「外の物差し」の代表が Artificial Analysis(以下 AA)です。一方で10月28日には、研究者の Nathan Lambert 氏が自身のブログ Interconnects で、AA はラボ(モデルの開発元)からお金を得ている、と指摘しました。この記事では、AA が何をする会社なのか、どう測っているのか、そして「独立」と収入源の関係をどう見ればよいのかを整理します。
