Vercel、AIエージェントがPCアプリを操作するOSS公開

クラウド基盤大手ヴァーセル（Vercel）のプロジェクト組織Vercel Labsは、AIコーディングエージェントがmacOS、Windows、Linuxの一般アプリを操作できるようにする無料のコマンドラインツール「agent-desktop」1.0を公開した。Apache 2.0ライセンスのオープンソースで、GitHubのリリースノートによると10月30日にバージョン1.0.2が出た。トルコのIT系メディアShiftDeleteは、同ツールが10月31日に公に紹介されたと報じた。

ポイント

• スクリーンショットではなくOSの「アクセシビリティツリー」を読み取り、画面要素ごとの参照IDをエージェントに渡す。
• macOS、Windows、Linux向けにx86-64とARM64の両方のビルドを提供する。Windows対応は10月18日のバージョン0.10.0で加わった。
• 言語モデルは含まない。シェルコマンドを実行できるエージェントなら何でも使え、npmで導入できる。

Vercelのagent-desktopとは

プロジェクトのREADMEは、同ツールを「あらゆるエージェントに、デスクトップでの信頼できるコンピューター操作を提供する」と説明している。Rustで書かれたコマンドラインツールで、導入はnpm install -g agent-desktopの1行で済み、Bun、Yarn、pnpmにも対応する。

リポジトリはGitHubのvercel-labs組織の下にあり、「Vercel Labs製品」と表示されている。ShiftDeleteによると、プロジェクトは2月に「Lahfir」と名乗る開発者が始め、のちにVercel Labsへ移管された。

アクセシビリティツリー方式のコンピューター操作とは

従来のコンピューター操作エージェントの多くは、スクリーンショットを見てクリック位置の座標を推定する。agent-desktopは、スクリーンリーダーが使う画面要素の一覧、つまりアクセシビリティツリーをOSに直接問い合わせる。snapshotコマンドがツリーを返すと、ボタンなど操作可能な要素に@e1、@e2といった参照IDが付く。

READMEによると、コマンド名は60個あり、そのうち56個が実際に動作する。参照IDによる操作は既定で実際のマウスを動かさない「ヘッドレス」方式で、--headedオプションを付けると物理的なマウスとキーボードの入力を使う。エラー応答には「disposition」項目が付き、再試行が安全と示された場合にのみやり直すよう求めている。

10月31日に更新されたドキュメントは、複数のエージェントが1台の画面を共有するセッション機能も説明している。マルチエージェントのセッションではエージェントIDごとに画面上に専用カーソルが表示され、同じカーソルを使う操作は順番を待つ。

対応環境と制約

macOSでは「アクセシビリティ」の権限を許可する必要がある。Windowsでは、ターミナルと同じ権限レベルのアプリなら追加の許可は要らず、10月18日のリリースはWindows 10 バージョン1809以降とWindows Server 2019以降を明記した。Linuxではat-spi2-coreが動くグラフィカルセッションが必要である。

アプリがアクセシビリティ経由で公開する情報しか扱えない点は制約である。READMEは、スナップショットやクリップボード、スクリーンショット、デバッグファイルに「個人のデスクトップ上の内容が含まれる可能性がある」として、公開ログに載せないよう警告している。

背景：デスクトップへ広がるコーディングエージェント

コーディングエージェントによるデスクトップ操作の動きは最近加速している。Cursorは10月23日、同社のコーディングエージェントがアップルのiOSシミュレーターなど一般のアプリを直接操作できるようになったと発表した。アンソロピックも8月、ウェブページの要素をアクセシビリティツリーの参照IDで指定する「Browser Use」ツールセットを公開している。

リポジトリへの関心は高まっているが、数字には食い違いがある。ShiftDeleteはGitHubのスター数が5,000を超えたと報じたが、AI Newswayが11月2日に確認したリポジトリのページでは約1,900だった。

今後の見通し

目に見える残りの課題は配布経路の整備である。HomebrewとScoopへの登録は手続き中で、11月2日時点で未解決のIssueは1件、未処理のプルリクエストは12件だった。ヴァーセルはホスティング版や有料版の計画を明らかにしていない。

よくある質問

agent-desktopにAIモデルは含まれているのか

含まれていない。エージェントが呼び出して使うツールであり、シェルコマンドを実行できるコーディングエージェントなら利用できる。

対応OSは何か

macOS、Windows、Linuxである。各OS向けにx86-64とARM64のビルドが公開されている。

無料で使えるのか

使える。Apache 2.0ライセンスのオープンソースである。

参考資料

• vercel-labs/agent-desktop — GitHub
• Releases · vercel-labs/agent-desktop — GitHub（2026年10月18〜30日）
• Sessions — agent-desktopドキュメント（2026年10月31日更新）
• Vercel's agent-desktop Lets AI Agents Use Your Whole Computer — ShiftDelete（2026年11月1日）