CRYPTO & AI
無料で登録
AI

【マルチモーダル】画像・音声・動画をAIはどう読むのか。仕組みと、2026年でも苦手なこと

文章だけでなく画像・音声・動画も扱うマルチモーダルなAIを、画像をトークンに変える仕組みと、大学の試験は解けても時計の読み取りで負ける理由からまとめます。

【マルチモーダル】画像・音声・動画をAIはどう読むのか。仕組みと、2026年でも苦手なこと

Google は10/13、Gemini 4 Argon をロボット向けに使う例を公開し、複数のカメラの動画やスケッチを読んでロボットの動きを組み立てられると説明しました。10/15には NVIDIA が、画像やウェブページ、PDF を読んで動く1,200億パラメータのオープンなモデル Nemotron 3.5 Super VL を出しています。画像や動画を読むAIは、説明するだけでなく、見たものをもとに動くところまで来ています。

一方、Scale AI の研究部門が10/7に公開した視覚推論の評価では、最も成績の良いモデルでも人間の6割に届きませんでした。できることと苦手なことの差が大きいのが、いまのマルチモーダルです。この記事では、AIが画像や音声をどう読んでいるのかと、その仕組みからくる得意・不得意を整理します。

TOPICS

DEBUNK編集長

次に読む

【シム・トゥ・リアル】仮想空間で練習したロボットを現実で動かすとき、何がずれて、どう埋めるのか

ロボットの学習のニュースでよく出てくる「シム・トゥ・リアル」を、現実とのずれが生まれる理由、ずれを埋める方法、よくある誤解とあわせて整理します。

AI 2026.11.22

【タンパク質の構造予測】AlphaFold は何を当てていて、薬の候補との結合の予測とはどう違うのか

今週の資金調達で目立った AI 創薬の土台にある「タンパク質の構造予測」を、仕組み、結合の予測との違い、よくある誤解とあわせて整理します。

AI 2026.11.22

【グリーンシュー】Anthropicの上場で引受会社が使った「追加購入権」は、何のための仕組みか

IPOのニュースに出てくる「グリーンシュー(追加購入権)」の仕組みを、引受会社が先に多めに売っておく理由と、上場後の株価による使い分けとあわせて、Anthropicの数字で整理します。

AI 2026.11.22

【OCR(光学文字認識)】紙やPDFの文字をテキストに直す仕組みと、AIのモデルで変わったこと

紙の書類やスキャンしたPDFから文字を取り出す OCR(光学文字認識、Optical Character Recognition)の仕組みを、従来のやり方と、画像と文章を一緒に扱う AI のモデルによるやり方の違いとあわせて整理します。

AI 2026.11.21