CRYPTO & AI
無料で登録
AI

【実務で測るAIベンチマーク】Fable 5.2 が実際のフリーランス案件の41.3%を仕上げた

「AI が実際の仕事をどこまでこなせるか」を測るベンチマークの数字を、どの評価の・どんな条件の数字なのかとあわせて整理する記事です。中心は Remote Labor Index(RLI)で、OpenAI の GDPval と SWE-Lancer を比べる相手に置きます。

【実務で測るAIベンチマーク】Fable 5.2 が実際のフリーランス案件の41.3%を仕上げた

11/10 に The Decoder が、Anthropic の Fable 5.2 が実際のフリーランス案件の41.3%を、依頼主が受け取れる水準で仕上げたと報じました。この数字は Scale Labs と Center for AI Safety(CAIS)が運営する RLI のものです。Scale Labs のリーダーボード(順位表)でも、11/11 に閲覧した時点で Fable 5.2 が自動化率(Automation Rate)41.30% で首位に載っています。Anthropic も 11/9 の発表文のベンチマーク表に、High 設定で41.3%と載せていました。2025年10月に RLI が公開されたときの首位は Manus の2.5%でした。

ベンチマーク(benchmark)とは、AI の性能を同じ問題で測って比べるための試験のことです。「41%」は大きな数字に見えますが、何を「仕上げた」と数えるのか、採点は誰がするのか、ほかの「仕事のベンチマーク」と比べてよいのかで、読み方が変わります。この記事では、RLI の順位と1年の伸びを確かめたうえで、採点のしくみ、GDPval・SWE-Lancer との違い、この数字から言えることと言えないことを整理します。

TOPICS

DEBUNK編集長

あわせて読みたい用語解説

用語解説をすべて見る →
【シム・トゥ・リアル】仮想空間で練習したロボットを現実で動かすとき、何がずれて、どう埋めるのかロボットの学習のニュースでよく出てくる「シム・トゥ・リアル」を、現実とのずれが生まれる理由、ずれを埋める方法、よくある誤解とあわせて整理します。【タンパク質の構造予測】AlphaFold は何を当てていて、薬の候補との結合の予測とはどう違うのか今週の資金調達で目立った AI 創薬の土台にある「タンパク質の構造予測」を、仕組み、結合の予測との違い、よくある誤解とあわせて整理します。【グリーンシュー】Anthropicの上場で引受会社が使った「追加購入権」は、何のための仕組みかIPOのニュースに出てくる「グリーンシュー(追加購入権)」の仕組みを、引受会社が先に多めに売っておく理由と、上場後の株価による使い分けとあわせて、Anthropicの数字で整理します。【OCR(光学文字認識)】紙やPDFの文字をテキストに直す仕組みと、AIのモデルで変わったこと紙の書類やスキャンしたPDFから文字を取り出す OCR(光学文字認識、Optical Character Recognition)の仕組みを、従来のやり方と、画像と文章を一緒に扱う AI のモデルによるやり方の違いとあわせて整理します。【循環取引的な資金調達】出資した相手が、そのお金で自社の製品を買う仕組みAnthropic の上場で話題になった「循環取引的な資金調達(circular financing)」を、仕組み、SEC が訴追した取引との線引き、よくある誤解とあわせて整理します。【ミスアラインメント】AIエージェントの「指示にない行動」とは。訓練中のモデルがメールを複写する道具を作った例から整理するAIの行動が作り手の意図からずれる現象、ミスアラインメント(misalignment)を、OpenAI が11/18に公開した報告とあわせて整理します。【プロンプトキャッシュ】同じ前置きを2回目から安く読ませる仕組みを、Gemini 4 Neon の価格から整理するAI の API で、前回と同じ入力の読み込みを2回目から安くするプロンプトキャッシュ(Prompt Caching)の仕組みを、Google・OpenAI・Anthropic の条件の違いとあわせて整理します。【モデルルーティング】AIの呼び出しを「どこへ送るか」を決める仕組みと、その2つの種類Hugging Face が切り替えたルーターを入口に、モデルルーティングの仕組みと2つの種類、よくある誤解を整理します。