AI
【推論性能の測り方】Epoch の推計で GB300 は H100 の約25倍、演算の速さの差は2.5倍
AI チップの推論の力を測る新しい指数を、NVIDIA の仕様表と並べて、推論の性能が何で決まるのかを整理する記事です。
目次
調査機関の Epoch AI は11月9日、AI チップの推論(学習済みのモデルを動かして答えを出す処理。詳しくは基礎用語の記事)の力を比べる「推論性能指数(Inference Performance Index、IPI)」を公開しました。Epoch の推計では、NVIDIA の GB300 はチップ1個あたりで H100 の約25倍の推論の力を持ちます。一方、8ビットの演算の速さ(1秒あたりの浮動小数点演算の回数、FLOP/s)の差は2.5倍です。演算の速さだけで比べると、差を10分の1に見誤ることになります。
この記事では、IPI が何を数えているか、チップごとのスコアの差、演算の速さ以外に効いている要素、そしてこの推計で言えないことを整理します。チップの売上は10月18日の記事、推論チップのスタートアップの調達は11月15日の記事で扱ったので、ここでは「測り方」に絞ります。
TOPICS
