Qwen3.8-Omni-Flash、動画の必要な部分だけを見る

Alibaba初のエージェント型オムニモデル。OmniVideoBenchのスコアを上げつつトークンを約46%削減したが、重みは非公開のまま

|5分で読める0
Alibaba Group's headquarters in Hangzhou, where the Qwen team develops the company's omni-modal AI models
Alibaba Group's headquarters in Hangzhou, where the Qwen team develops the company's omni-modal AI models

AlibabaのQwenチームが9月18日、Qwen3.8-Omni-Flashを公開しました。テキスト、画像、音声、動画を受け取り、ファイルのどの部分を調べる価値があるかを自ら判断するオムニモーダルモデルです。Qwenの公開記事によると、この選択的なアプローチによりOmniVideoBenchの精度は63.4から67.8へ上がり、トークン消費は145,736から79,117へ減りました。およそ45.7%少ないトークンで、より良い回答を出したことになります。

要点

  • エージェント的な知覚により、動画を最初から最後まで読む場合よりトークンを約45.7%削減しながら、OmniVideoBenchの精度が63.4から67.8へ向上した。
  • 29の評価でQwen3.5-Omni-Plusを平均25%以上上回り、WildClawBench-MMは71.0(+36.5ポイント)、AliMeetingの話者ダイアライゼーション誤り率は88.1%から3.4%へ低下した。
  • Qwenの近年の主要リリースと異なり、本モデルは重みの配布がなくAPIのみでの提供で、入力100万トークンあたり0.15ドル、出力100万トークンあたり0.47ドル。

エージェント的知覚が変えるもの

従来の動画モデルは、答えが3分ほどの区間にあってもファイルを最初から最後まで読み込みます。Qwenの研究者が説明する処理の順序はその逆です。モデルは質問から出発し、どの区間を見て聴くかを決め、粗い探索から細かい探索へと複数回たどりながら根拠を集めます。

1時間の動画に計算資源を均等にばらまくのではなく、答えを含む場面に集中させる。狙いは効率であり、精度はその代償として落ちるどころか一緒に上がりました。読む量を減らす手法としては珍しい結果です。

ベンチマーク表の読み方

Qwenは29の評価で、前世代のマルチモーダル主力モデルQwen3.5-Omni-Plusを平均25%以上上回ったと報告しています。伸びが最も大きいのはエージェント領域で、WildClawBench-MMは36.5ポイント増の71.0、UniClawBenchは69.6、AgenticVBenchは22.3ポイント改善しました。

基礎的な知覚性能も動きましたが、Qwenはその多くを絶対スコアではなくポイント増として示しています。OmniVideoBenchはエージェント的知覚を適用しない静的モードで63.4、9.6ポイントの上昇。LongAudioSpanは長時間音声の理解で8.3ポイント、OmniCap-IFはキャプションの内容構成と指示追従でそれぞれ8.5ポイントと14.1ポイント伸びました。最も大きく動いたのは複数話者の中国語会議の書き起こしです。AliMeetingのダイアライゼーション誤り率は88.1%から3.4%へ、文字起こし誤り率は89.6%から17.2%へ下がりました。Qwenは視聴覚性能がGemini 3.8 Flashに近く、音声全体の性能はそれを上回ると位置づけています。数値はすべて自社測定で、公開時点で独立した評価はありませんでした。

価格と提供環境

QwenCloudの価格は入力100万トークンあたり0.15ドル、出力100万トークンあたり0.47ドル、暗黙的キャッシュヒットは100万トークンあたり0.016ドルです。Qwen3.5-Omni-Plusと比べ、1時間あたりの音声入力コストは98%以上、視聴覚入力は93%以上下がったとQwenは主張しています。

コンテキストウィンドウは100万トークン。QwenCloudでは最大入力991K、出力131Kで、推論長は262Kが上限です。動画はURL経由で最大2時間・2GBまで受け付け、毎秒最大15フレームでサンプリングし、2チャンネルステレオと4チャンネル空間音響に対応します。音声認識は74言語と39の中国語方言をカバー。提供リージョンは北京、シンガポール、香港、東京、フランクフルト、バージニアの6か所です。

閉じたモデル、開かれた配管

モデル本体はAPI専用です。基盤となるQwen3.8-Flash-Nextのアーキテクチャは、Alibaba Qwenが2026年8月に重みを公開していますが、今回は同じ選択を繰り返しませんでした。出力はテキストのみで、音声生成が必要な開発者はQwen3.5-Omniへ案内されます。

開かれたのは周辺のツール群です。Qwen-MM-PluginsはApache-2.0で公開され、Claude Code、Codex、Gemini CLI、Qwen Codeなど各種ハーネス向けのガイド付きインストーラーを備え、それぞれの機能をスキルと任意のMCPサーバーとして提供します。同時に発表されたQwen-Live Harnessは、公開直後の時点でリポジトリが404を返していました。

エージェント開発者にとっての意味

プラグイン層は、Qwenがどこをボトルネックと見ているかを示しています。多くのエージェントハーネスはメインモデルに音声をそのまま渡せず、プラグインを入れても音声は結局APIを経由します。モデルを閉じたまま接続部分をオープンソース化したのは、音声と動画をエージェントにとって当たり前の入力にすることが普及につながるという賭けでしょう。Qwenの評価を築いたオープンウェイトのリリースとは異なる姿勢です。ダウンロードできるモデルで知られてきた研究所のAPI専用オムニモデルを開発者が受け入れるかは、まだ未知数です。

FAQ

Qwen3.8-Omni-Flashはオープンソースですか?

いいえ。QwenCloud、Alibaba Cloud Model Studio、Qwen Studio経由のホスト型APIとしてのみ提供され、公開時点で重みは配布されていません。基盤アーキテクチャのQwen3.8-Flash-Nextは2026年8月にオープンウェイトで公開されましたが、それでこのオムニモデルを自前で動かせるわけではありません。

音声を生成できますか?

標準APIではできません。Qwen3.8-Omni-Flashは音声と動画を受け取りますが出力はテキストのみで、Alibabaのドキュメントは音声合成が必要な開発者にQwen3.5-Omniを案内しています。リアルタイムの対話用途には、公開時に別のリアルタイム版が言及されました。

Gemini 3.8 Flashと比べてどうですか?

Qwenは視聴覚性能がGemini 3.8 Flashに近く、音声全体の性能では上回ると主張しています。この比較はAlibabaが29のベンチマークで自ら行った評価にもとづくもので、公開時点で第三者による独立した検証は発表されていません。

この記事への反応を残してください!

SJ

ディスカッション

ログインして投稿
読み込み中...

関連記事

Anthropic、外部評価者を社内に常駐へ アモデイ氏が「フロンティアの減速」を訴え
AI & Machine Learning

Anthropic、外部評価者を社内に常駐へ アモデイ氏が「フロンティアの減速」を訴え

Dario Amodei氏がフロンティア研究所に能力競争の減速を求め、Anthropicのオフィスに外部評価者を常駐させて検証可能性を示すと約束した。

Seung Jung7 日前
隔離されていたはずのOpenAIエージェント1200体が、独自の掲示板を運営していた
AI & Machine Learning

隔離されていたはずのOpenAIエージェント1200体が、独自の掲示板を運営していた

METRとRedwood Researchの研究者がOpenAIの現場に6日間入り、隔離して動くはずだったエージェント約1200体が共有掲示板で互いを見つけた経緯を再構成した。

Seung Jung5 日前
AstraがClaudeのVending-Bench利益を3倍に、談合は拒否
AI & Machine Learning

AstraがClaudeのVending-Bench利益を3倍に、談合は拒否

ベンチマークの公開以来はじめて、仮想の自動販売機ビジネスで最も稼いだモデルが、不正を拒んだモデルと一致しました。

Seung Jung6 日前
PrismML、27B推論モデルを5.95GBに圧縮しても推論力を落とさず
AI & Machine Learning

PrismML、27B推論モデルを5.95GBに圧縮しても推論力を落とさず

4ビット未満の圧縮は通常、推論モデルが推論をやめる領域です。PrismMLはQwen3.8-27Bを5.95GBに縮めながら、原型の性能の98.2%を保ったと発表しました。

Seung Jung一昨日
アリババ、腹部CTの146所見を平均AUC 0.913で読むモデルをオープンソース公開
AI & Machine Learning

アリババ、腹部CTの146所見を平均AUC 0.913で読むモデルをオープンソース公開

アリババDAMOアカデミーが、腹部CTの146所見を平均AUC 0.913で読む汎用モデルRADARを重みとコードごと公開した。

Seung Jung24 時間前
上司のひと押しでAIの規則違反が65%増、22モデルの監査で判明
AI & Machine Learning

上司のひと押しでAIの規則違反が65%増、22モデルの監査で判明

PACTは規制12領域で規則と近道を衝突させる。職場によくある程度の圧力で、22モデルの違反率は平均65%上昇した。

Seung Jung3 日前