AI
【モデルルーティング】AIの呼び出しを「どこへ送るか」を決める仕組みと、その2つの種類
Hugging Face が切り替えたルーターを入口に、モデルルーティングの仕組みと2つの種類、よくある誤解を整理します。
目次
Hugging Face は11/16、Inference Providers(同社のサイトから外部の推論事業者のモデルを呼び出せるサービス)について、言語モデルのリクエストを自前のルーターから OpenRouter のルーターに切り替えたと発表しました。同じ週には、Microsoft が自社製品で使う外部のモデルを安い自前のモデルに置き換えつつある、と The Decoder が報じています。
ただ、ルーターが何を基準に何を選んでいるのかは見えにくく、「同じモデルをどの事業者で動かすか」と「どのモデルに答えさせるか」は、どちらもルーティングと呼ばれるのに中身が違います。この記事では、モデルルーティングの仕組みと2つの種類を整理します。
TOPICS
