CRYPTO & AI
無料で登録
AI

【推論性能の測り方】Epoch の推計で GB300 は H100 の約25倍、演算の速さの差は2.5倍

AI チップの推論の力を測る新しい指数を、NVIDIA の仕様表と並べて、推論の性能が何で決まるのかを整理する記事です。

【推論性能の測り方】Epoch の推計で GB300 は H100 の約25倍、演算の速さの差は2.5倍

調査機関の Epoch AI は11月9日、AI チップの推論(学習済みのモデルを動かして答えを出す処理。詳しくは基礎用語の記事)の力を比べる「推論性能指数(Inference Performance Index、IPI)」を公開しました。Epoch の推計では、NVIDIA の GB300 はチップ1個あたりで H100 の約25倍の推論の力を持ちます。一方、8ビットの演算の速さ(1秒あたりの浮動小数点演算の回数、FLOP/s)の差は2.5倍です。演算の速さだけで比べると、差を10分の1に見誤ることになります。

この記事では、IPI が何を数えているか、チップごとのスコアの差、演算の速さ以外に効いている要素、そしてこの推計で言えないことを整理します。チップの売上は10月18日の記事、推論チップのスタートアップの調達は11月15日の記事で扱ったので、ここでは「測り方」に絞ります。

TOPICS

DEBUNK編集長

あわせて読みたい用語解説

用語解説をすべて見る →
【シム・トゥ・リアル】仮想空間で練習したロボットを現実で動かすとき、何がずれて、どう埋めるのかロボットの学習のニュースでよく出てくる「シム・トゥ・リアル」を、現実とのずれが生まれる理由、ずれを埋める方法、よくある誤解とあわせて整理します。【タンパク質の構造予測】AlphaFold は何を当てていて、薬の候補との結合の予測とはどう違うのか今週の資金調達で目立った AI 創薬の土台にある「タンパク質の構造予測」を、仕組み、結合の予測との違い、よくある誤解とあわせて整理します。【グリーンシュー】Anthropicの上場で引受会社が使った「追加購入権」は、何のための仕組みかIPOのニュースに出てくる「グリーンシュー(追加購入権)」の仕組みを、引受会社が先に多めに売っておく理由と、上場後の株価による使い分けとあわせて、Anthropicの数字で整理します。【OCR(光学文字認識)】紙やPDFの文字をテキストに直す仕組みと、AIのモデルで変わったこと紙の書類やスキャンしたPDFから文字を取り出す OCR(光学文字認識、Optical Character Recognition)の仕組みを、従来のやり方と、画像と文章を一緒に扱う AI のモデルによるやり方の違いとあわせて整理します。【循環取引的な資金調達】出資した相手が、そのお金で自社の製品を買う仕組みAnthropic の上場で話題になった「循環取引的な資金調達(circular financing)」を、仕組み、SEC が訴追した取引との線引き、よくある誤解とあわせて整理します。【ミスアラインメント】AIエージェントの「指示にない行動」とは。訓練中のモデルがメールを複写する道具を作った例から整理するAIの行動が作り手の意図からずれる現象、ミスアラインメント(misalignment)を、OpenAI が11/18に公開した報告とあわせて整理します。【プロンプトキャッシュ】同じ前置きを2回目から安く読ませる仕組みを、Gemini 4 Neon の価格から整理するAI の API で、前回と同じ入力の読み込みを2回目から安くするプロンプトキャッシュ(Prompt Caching)の仕組みを、Google・OpenAI・Anthropic の条件の違いとあわせて整理します。【モデルルーティング】AIの呼び出しを「どこへ送るか」を決める仕組みと、その2つの種類Hugging Face が切り替えたルーターを入口に、モデルルーティングの仕組みと2つの種類、よくある誤解を整理します。