目次

1. はじめに
2. 1. Computer Use とは何か
3. 2. Pythonスクレイピングとの違い・差別化
4. 3. Power Automate Desktop(PAD)との違い・差別化
5. 4. 使い方(セットアップの流れ)
6. 5. 主な使用事例
7. 6. OCRを絡めた「書類 → デジタル → 帳簿入力」の自動化
8. 7. ライセンス・コストの考え方
9. まとめ

はじめに

Microsoft Copilot Studio に搭載された「Computer Use(コンピューター使用)」が一般提供(GA)となりました。

これは、AIエージェントが人間と同じように画面を見て、マウスとキーボードを操作し、Webサイトやデスクトップアプリを動かす機能です。
APIが用意されていないレガシーな業務システムでも、「人が操作できるなら、エージェントも操作できる」という発想で自動化できるのが最大の特徴です。

本記事では、情シス・IT担当者から開発者までを対象に、機能の概要、Pythonスクレイピングや Power Automate Desktop(PAD)との違い、具体的な使い方、そして OCR と組み合わせた「紙の書類 → デジタル化 → 帳簿入力」の自動化シナリオまでを整理します。

1. Computer Use とは何か

Computer Use は Copilot Studio に追加できる「ツール」の一種です。

自然言語で「何をしてほしいか」を指示すると、仮想のマウス・キーボードを使って、対象マシン上でボタンをクリックし、メニューを選び、フィールドに文字を入力します。

コードを書く必要はありません。

技術的な中核は Computer-Using Agents(CUA) と呼ばれるAIモデルです。
これは画像認識(ビジョン)と高度な推論を組み合わせ、GUI(グラフィカルユーザーインターフェース)を理解して操作します。
AIが画面そのものを見て判断するため、ボタンの位置や画面レイアウトが変わっても、適応して処理を続行できる可能性が高い点が従来型の自動化と異なります。

実行環境：本番運用は「自社マシン登録方式」が前提

実行環境には3つの選択肢がありますが、2026年9月時点で提供状況が異なります。ここは導入計画を左右する最重要ポイントです。

実行環境	概要	提供状況
Bring-your-own-machine	Power Automate for desktop をインストールしたWindowsマシンを登録し、[マシン]で「Enable for computer use」をオンにする	GA（本番運用の本線）
Hosted browser（Windows 365 for Agents）	Microsoftホスト型のブラウザ環境	プレビュー（公式に「本番利用非推奨」「需要によりスロットリングの可能性」と明記）
Cloud PC pool（Windows 365 for Agents）	Microsoftホスト型のCloud PCプール。Entra参加・Intune登録済み	プレビュー

⚠️「自社サーバーの構築・運用は不要」という説明にご注意ください
2025年4月の発表ブログには “computer use runs on Microsoft-hosted infrastructure, meaning organizations don’t need to manage their own servers” という記述がありますが、これは初期プレビュー時点の記述です。
2026年8月更新の公式ドキュメントでも、Microsoftホスト型（Hosted browser / Cloud PC pool）にはプレビュー注記が維持されており、本番利用は非推奨とされています。
したがって、本番運用を計画する場合は「自社Windowsマシンを Power Automate のマシン管理基盤に登録する（BYOM）」構成が前提になります。

出典: Microsoft Learn: Configure where computer use runs

なお、企業データは Microsoft Cloud の境界内に留まり、モデルの学習には使われません。

対応アプリケーション

ブラウザは Edge・Chrome・Firefox に対応します。

デスクトップアプリについては、公式ドキュメントに WinForms・WPF・UWP・WinUI・Win32 がサポート対象、Electron・Java・Unity・ゲーム・CLI・Citrix等の仮想化環境が対象外として記載されています。

📌補足: この対応/非対応リストは、公式ドキュメント上では 「Stored credentials（保存された資格情報）のパスワードフィールドのサポート範囲」についての注記として記載されています。

Computer Use 全体の動作可否リストではない点にご注意ください。パスワード自動入力を伴わない単純な画面操作については、記載外のアプリでも動作する可能性があります。

実際の適用可否は、対象アプリでのPoC検証で確認してください。

前提条件と使用モデル

利用にはエージェントの生成オーケストレーション(generative orchestration)を有効化しておく必要があります。

使用モデルは以下から選択できます。

モデル	区分	状態
OpenAI CUA	Standard	GA
Anthropic Claude Sonnet 4.5	Standard	GA
Anthropic Claude Sonnet 4.6	Standard	Experimental
Anthropic Claude Opus 4.6	Premium	Experimental

※ Anthropic系モデルの利用には、管理者による外部モデル利用の許可が必要です。

【重要】期待値の置き方：成功率は100%ではありません

「UI変更に強い」という特性は事実ですが、確率的に動作するAIである以上、限界もあります。Microsoft は公式FAQで以下を明示しています。

• タスク成功率: Webアプリで約80%、デスクトップアプリで約35%
• 同一タスクでも結果が変動しうる
• ドロップダウン、日付ピッカー等の非標準UIが苦手
• ループやスタック状態に陥ることがある

特にデスクトップアプリの約35%という数値は、PoC計画と適用範囲の判断に直結します。

「レイアウト変化に自動追随するから保守不要」と考えるのではなく、「セレクタ破損起因の保守は減るが、指示文のチューニングと異常系の監視は必要」と捉えるのが実態に即しています。

出典: Microsoft Learn: FAQ for the computer use tool

---

2. Pythonスクレイピングとの違い・差別化

Selenium や Playwright、BeautifulSoup といった Python によるスクレイピング/自動化と比較すると、性格が大きく異なります。

観点	Pythonスクレイピング	Copilot Studio Computer Use
実装	コード必須(開発スキルが前提)	自然言語で指示、ノーコード
UI要素の指定	XPath/CSSセレクタで厳密指定	AIが画面を見て判断(セレクタ不要)
UI変更への耐性	変更で壊れやすく保守が必要	レイアウト変化に適応しやすい(ただし成功率はWeb約80%/デスクトップ約35%)
デスクトップアプリ	基本的に不得手(Web中心)	Web・デスクトップ両対応(デスクトップは成功率が低め)
実行速度・大量処理	高速・大量処理に強い	1ステップずつ処理、相対的に低速
コスト構造	インフラ費のみ(処理量で増えにくい)	1ステップごとに従量課金(後述)
再現性	決定論的で厳密	生成AIゆえ実行ごとに揺れが出うる

要するに、厳密・大量・高速に構造化データを取りたいならスクレイピング、APIがなく画面が変わりやすいシステムを、開発リソースをかけず自動化したいなら Computer Use、という住み分けです。
Computer Use は「セレクタが壊れて夜間バッチが止まる」といった従来型自動化の脆さを、AIの適応力で軽減する狙いがあります。

---

3. Power Automate Desktop(PAD)との違い・差別化

同じMicrosoft製の自動化であるPAD(RPA)とも比較しておきます。

観点	Power Automate Desktop	Computer Use
動作原理	記録した操作・UIセレクタを決定論的に再生	AIが画面を見て推論しながら操作
フロー構築	アクションを1つずつ定義	やりたいことを自然言語で記述
UI変更	セレクタ破損時に修正が必要	変化に適応しやすい
再現性・監査	決定論的で予測しやすい	柔軟だが実行ごとに挙動が揺れうる
位置づけ	定型・安定した業務の高速反復	動的・非定型・APIなしのUI操作

重要なのは、両者は排他ではなく補完関係という点です。
前述のとおり、Computer Use の実行対象マシンは Power Automate のマシン管理基盤で構成します（BYOM構成）。
安定して変わらない工程はPADで決定論的に高速処理し、頻繁に画面が変わる・例外が多い工程だけを Computer Use に任せる、といったハイブリッド構成が現実的です。

📌 Microsoftの位置づけの変化

2025年4月のブログには “Reimagining robotic process automation (RPA)”（RPAの再構想）という見出しがありました。
ただし2026年6月のブログでは “Extend—don’t replace—your automation”（既存の自動化を置き換えるのではなく拡張する） というトーンに変化しています。
「RPAを置き換える革命」というより、「既存RPA資産を活かしつつ、苦手領域を補完する」というのが現在のMicrosoftの位置づけです。

---

4. 使い方(セットアップの流れ)

Copilot Studio 上での基本的な構築手順は次のとおりです。

1. エージェントの [ツール] ページで [ツールの追加] → [新しいツール] → [Computer use] を選択。
2. 実行してほしいタスクを自然言語の指示(Instructions)で記述(テンプレートあり)。
3. [追加して構成] で、表示名・説明・使用モデル・指示の4項目を設定。
4. 必要に応じて任意設定を構成:実行時に値を変える Inputs、実行先の Machine、Connection、Credentials to use、サインイン用の Stored credentials(Power Platform内部保管 or Azure Key Vault)、操作対象を限定する Access control、HTTPS限定の Enforce HTTPS、Human supervision など。
5. [テスト] を実行。左ペインに推論とアクションのログ、右ペインに実際のマシン操作のプレビューが並んで表示され、挙動を確認しながら指示を調整できます。
6. 問題なければエージェントを発行。バックグラウンドで動く自律型(autonomous)が最適で、Teams等の会話型でも利用可能です。

指示を書く際のコツは、対象サイトの完全なURLとアプリの正式名称を明示する、「送信」など実行したい操作を明確に言い切る、複雑なUI操作は手順を分解する、長い作業は箇条書きにすること。
「同僚に手順を説明するつもりで具体的に書く」のが精度を上げる鍵です。

加えて、「やってはいけないこと」を明記するのも重要です。「受注確定」「発注確定」など不可逆な操作の禁止をプロンプトに書いておくことで、誤操作のリスクを下げられます。

Human supervision（人間監督）の正確な機能

任意設定の一つである Human supervision は、単なる「有害指示検知時の連絡先設定」ではありません。公式の定義は以下です。

• 有害・悪意ある指示を検知した場合に加え、値が欠落している場合や、解釈が複数ありうる曖昧なケースでも実行を一時停止し、認可されたレビュアーに確認要求を出す
• レビュアーはメールまたは Copilot Studio の run activity map から応答でき、応答後は停止したステップから再開する
• 応答期限（response time limit）を過ぎると実行は停止する

⚠️ ただしMicrosoftは「依存してはならない」と明記しています
公式ドキュメントには「安全性のフェイルセーフとして依存すべきではない」と記載されています。

確率的なモデル挙動に基づく機能であるため、「必ず人間承認を挟む」ことを保証する仕組みではありません。

金銭取引や不可逆な操作については、Human supervision だけに頼らず、対象システム側のアカウント権限で「確定・承認・削除」の権限そのものを付与しないという構造的な制御を併用してください。

セキュリティ・運用面の推奨

専用マシンの利用、最小権限アカウント、信頼できるサイト/アプリのみを許可リスト化といった運用が推奨されます。

また、操作ログとスクリーンショットは Dataverse（flowsession / flowsessionbinary / flowlog テーブル）に保存され、既定の保持期間は7日間です。監査要件で長期保存が必要な場合は、保持期間の延長や Microsoft Purview 監査ログへの送出（アクティビティ名 CUAOperation）を別途構成してください。

---

5. 主な使用事例

公式に挙げられている代表的なユースケースは以下です。

自動データ入力 ― 複数のソースから集めた大量データを、APIのない基幹システムのUIへ入力する。手作業と入力ミスを削減します。

請求書処理 ― 請求書からデータを抽出し、会計システムへ入力する一連の流れを自動化します。

マーケットリサーチ ― 各種オンラインソースから市場データを収集・集約します。

データ抽出 ― Webやアプリ上の値を抽出し、テキストまたはJSON形式で返してエージェントの後続処理や他ツール(メール送信等)に渡せます。たとえば「ポートフォリオ管理者名と評価額を抽出してメールで送る」といった、抽出ツールとメールツールを組み合わせた自動化が可能です。

---

6. OCRを絡めた「書類 → デジタル → 帳簿入力」の自動化

現場で需要が高いのが、紙やPDFの書類を読み取り、APIのない会計・帳簿システムへ入力するエンドツーエンドの自動化です。
ここは Computer Use 単独よりも、AI Builder のドキュメント処理(OCR)との組み合わせが有力な構成になります。

📌 表現の補足

「Copilot Studio のエージェントは汎用OCRを内蔵していない」という断定を裏づける公式記述は確認できませんでした。

むしろ公式FAQには「PDFを開いてその内容でWebフォームを埋める」という例が挙げられており、Computer Use 自体が画面上の文書を読み取ることは可能です。

そのうえで AI Builder との組み合わせが推奨されるのは、大量処理時の安定性・抽出項目の構造化・読取精度の一貫性という観点からです。

「できない」からではなく「そのほうが堅牢だから」という理解が正確です。

典型的なパイプラインは次の3段構えです。

1. 書類 → デジタル(読み取り):スキャンした請求書・領収書を、AI Builder の請求書処理(Invoice processing)プリビルトモデルやドキュメント処理モデルでOCR処理し、取引先・日付・金額・明細などの項目を構造化データとして抽出します（JPEG/PNG/PDF対応、20MBまで、OCR生結果も出力可能）。
2. データの受け渡し・保管:Power Automate がワークフローを統括し、抽出データを Microsoft Dataverse などに格納します。
3. デジタル → 帳簿入力:Copilot Studio の Computer Use エージェントが、その構造化データをAPIのないレガシー会計システムのUIへ、画面操作で入力します。

この役割分担が肝心です。「読む」精度は OCR(AI Builder)が担い、「入力する」操作は Computer Use が担う。両者を組み合わせることで、APIが提供されていない古い基幹システムであっても、紙の受領から帳簿記帳までを一気通貫で自動化できます。

💡 実装上の注意: 会計システムがデスクトップアプリの場合、Computer Use の成功率は約35%とされています。

段階的に自動化範囲を広げるか、入力工程はPADとの併用を検討してください。

また、仕訳の確定操作は人間が行う設計を推奨します。

---

7. ライセンス・コストの考え方

Computer Use は「エージェントアクション」として従量課金されます。
1ステップあたり 5 Copilot Credits(プレミアムモデル使用時は 15 Credits)を消費します。
1ステップは、クリック・入力・遷移などの低レベル操作を1つ以上含む単位です。
たとえば「ブラウザ起動→新規作成→3項目入力→送信」の4ステップなら、標準モデルで計20 Credits になります。

※ 2026年9月時点でプレミアム扱いとなるのは Claude Opus 4.6 のみです。

したがって、大量・高頻度の定型処理をすべて Computer Use に寄せると、クレジット消費が膨らみます。
安定工程はPADやAPI連携で処理し、Computer Use は「APIがない」「画面が変わりやすい」箇所に絞って使うのが、コストと堅牢性の両面で合理的です。

---

まとめ

Copilot Studio の Computer Use は、AIが画面を見て操作する、UI自動化の新しいアプローチです。
ノーコードで、APIのないシステムを、UI変更に比較的強く自動化できる点が、コード保守に追われるスクレイピングやセレクタが壊れやすい従来型RPAとの差別化になります。

一方で、導入計画時には以下を前提としてください。

1. 本番運用は自社マシン登録方式(BYOM)が前提。Microsoftホスト型は現時点でプレビュー（本番利用非推奨）
2. 成功率はWeb約80%・デスクトップ約35%。無人完全自動を前提にせず、リトライと人間へのエスカレーションを設計に含める
3. Human supervision はフェイルセーフではない。不可逆操作はアカウント権限レベルで構造的に制御する
4. 1ステップ従量課金（標準5 / プレミアム15 Credits）。大量処理は他手段と組み合わせる
5. ログの既定保持期間は7日間。監査要件があれば別途設計する

実務では「スクレイピング/PADは安定・大量処理」「Computer Use は非定型・APIなし・動的UI」「読取はAI BuilderのOCR」と役割分担し、適材適所で組み合わせることが、投資対効果を最大化する近道になります。
特に OCR と Computer Use を組み合わせた書類→帳簿入力の自動化は、多くの企業が効果を実感しやすい有力なユースケースと言えるでしょう。

---

出典: Microsoft Learn「Automate web and desktop apps with computer use」「Configure where computer use runs」「FAQ for the computer use tool」、Microsoft Copilot Blog「Announcing new computer use in Microsoft Copilot Studio」「Improve complex UI automation with computer-using agents」、AI Builder 請求書処理プリビルトモデルドキュメント。
本記事は2026年9月時点の公開情報に基づいています。最新の仕様・価格・提供状況は Microsoft の公式情報をご確認ください。