AIエージェントを組織に入れるときの2つの統制 ── 人の統制とAIエージェントの統制
ツバイソの印具です。
生成AIの社内ルールを定めたあとで、AIエージェント（以下、AI）に業務を任せ始めると、AIエージェントのガバナンス（統制）はそのルールだけで足りるのか、という問いが生じます。
私は、AIを組織に導入するときの統制を、2つに分けて考えています。1つは、社員の仕事の進め方と品質を統制する「人の統制」です。もう1つは、AIの操作そのものを統制する「AIエージェントの統制」です。人の統制のうち、チェックリストやマニュアルに当たる手順と点検の一部は、AIに担わせられます。ただし、担わせたAIの操作を統制しなければ、人の統制が働かないことがあります。この記事では、2つの統制の違いを説明します。あわせて、提案書を作成したAIが、AIへの指示書（スキル）で義務づけた点検を省いた当社の事例を紹介します。
統制する対象は「社員の仕事の進め方と品質」と「AIの操作」の2つになる
生成AIの社内ルールの多くは、社員が生成AIをどう使うかを定めています。たとえば、入力してよい情報の範囲や、出力の内容を確認してから使うことを定めます。こうした使い方の定めは、人の統制に当たります。
文章の生成だけを行う生成AIであれば、社員が出力を読んでから、自分で投稿や送信、保存を行います。AIエージェントは、ファイルの保存や、社内のチャットや課題管理ツールへの投稿を、自ら実行します。社員が出力を読む前に、保存や投稿が完了していることがあります。そのため、社員によるAIの使い方とは別に、AIの操作そのものを統制する必要があります。
| 統制 | 何を統制するか | 従来の手段 | 当社でAIを使う場合の手段 |
|---|---|---|---|
| 人の統制 | 社員の仕事の進め方と品質 | チェックリスト・マニュアル | 手順と点検の観点をAIへの指示書（スキル）にまとめ、同じ版を全社員に配布する。文書は、作成したAIとは別のAIが点検する。投稿の前に全文を示して承認を求める手順も、スキルに定める |
| AIエージェントの統制 | AIの操作そのもの | システムの権限管理・承認フロー（人の操作が前提） | Salesforceには社員本人のアカウントで接続する。本人の権限で許可されていない操作は、Salesforceが拒否する。私が使うAIエージェントの設定では、保存の前に点検の記録があるか、投稿の前に投稿する文面が承認を求めた文面に含まれるかを、プログラムが確かめる |
手順と点検の一部は、AIに担わせられる
当社では、チェックリストやマニュアルに当たる手順を、スキルにまとめています。社外向けの文書の言葉づかいの点検を例にとります。点検の観点は、7つの問いとして定めています（話し言葉になっていないか、何が起きるかを示さない動詞を使っていないか、など）。文書の版ごとに、作成したAIとは別のAIが、その問いに照らして点検します。
スキルの版を管理し、AIサービスの管理画面から全社員に配布しています。配布したあとは、管理画面の一覧で、配布した版が最新であることを確かめます。全社員が、同じ版の手順と観点を使えます。
会社が把握・管理していない範囲で社員が個別にAIを使う状態を、シャドーAIと呼びます。シャドーAIでは、点検の観点も手順も社員ごとに異なります。社員による生成AIの利用を会社が管理するAIサービスに限定し、そのAIサービスで同じスキルを配布すれば、少なくとも点検の観点と手順は全社員で統一できます。
手順を担わせたAIも、点検を省くことがある
ただし、スキルに手順を定めても、AIがその手順どおりに作業するとは限りません。
ある提案書の作成では、スキルで文書の点検を義務づけていました。それにもかかわらず、提案書を作成したAIは、第1版から第3版まで、別のAIに点検を依頼しないまま、提案書を共有ドライブに保存していました。第4版で初めて別のAIが点検すると、52件の指摘がありました。当時は、文書を作成したAI自身が、文書を出す前に、手順を守ったかを確認する仕組みしかありませんでした。そのため、点検の漏れを防げませんでした。
そこで、私が使うAIエージェントの設定では、点検の結果を記録として保存し、文書を共有ドライブに保存する操作の前に、点検の記録があるかをプログラムが確かめる仕組みを設けました。記録が無ければ、保存は実行されません。
AIエージェントの統制は、AIの判断に頼らない仕組みにする
この仕組みでは、点検の記録があるかどうかの確認を、AIに任せずプログラムが行います。操作の可否をAIの判断に任せない、という考え方は、AIを組み込んだアプリケーション向けのセキュリティの指針にも示されています。OWASPは、ソフトウェアのセキュリティに取り組む非営利団体です。OWASPのプロジェクトは、大規模言語モデル（LLM）を使うアプリケーションのリスクを一覧にまとめています。この一覧は、AIに与える権限や自律性が過剰になることを、リスクの1つに挙げています。対策として、次のように述べています。
"Implement authorization in downstream systems rather than relying on an LLM to decide if an action is allowed or not." （操作を許可するかどうかの判断をLLMに任せず、下流のシステムで認可を行うこと。訳は筆者）
この一節の「下流のシステム」は、AIが操作する対象のシステムを指します。当社では、AIがSalesforceを操作するときは、AIを使う社員本人のアカウントで接続し、AIの操作を本人の権限の範囲に限っています。操作を許可するかどうかは、Salesforceが本人の権限に照らして判断します。この仕組みは、引用した一節が述べる下流のシステムでの認可に当たります。
社内のチャットや課題管理ツールへの投稿についても、AIが全文を示し、人が承認してから投稿する手順をスキルに定めています。ただし、手順を定めるだけでは、AIが承認を求めずに投稿することを防げません。そのため、私が使うAIエージェントの設定では、承認を求めた文面をプログラムが記録し、投稿する文面がその文面に含まれていなければ、投稿の直前にプログラムが投稿を中止します。
2つの統制を、分けて定める
スキルに手順を定めることは、人の統制の手段です。AIの操作を、AIの判断に頼らずに制限し、確かめる仕組みが、AIエージェントの統制に当たります。生成AIの社内ルールを見直すときは、この2つの統制を、分けて定めることをお勧めします。AIに任せる業務の範囲が広がるほど、そのAIの操作を統制する仕組みが重要になります。
当社では、次の2つの手順を、AIエージェントの基本設定をまとめたスキルに組み込んでいます（提供の準備中です）。社外向けの文書を点検する手順と、投稿の前に全文を示して承認を求める手順です。スキルだけでは、手順の省略を防げません。そのため、プログラムによる確認は、私が使うAIエージェントの設定に組み込んで運用しています。
あわせてご覧ください。
出典
- OWASP GenAI Security Project・LLM06:2025 Excessive Agency・2025年・https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
ツバイソ株式会社
代表取締役 CEO 印具 毅雄(イング タケオ)
公認会計士、税理士
広島生まれ、福岡育ち。中学生の頃からパソコン、プログラミングが好きで、N88-BASICやマシン語に親しむ。大学、大学院では、AI関連技術のニューラルネットワーク、ファジィシステムとともに遺伝的アルゴリズムの改善研究をC言語で行う。
1999年、修士（芸術工学）。日本知能情報ファジィ学会論文賞受賞「単峰性関数当てはめによるGA（遺伝的アルゴリズム）収束高速化」
インターネットベンチャーを立ち上げるべく、経営の勉強のために公認会計士を取得（公認会計士二次試験2000年合格、登録番号19193）。監査法人トーマツ（Deloitte）を経て、2006年にブルドッグウォータ株式会社の創業、事業開始。
2015年、同社よりRobotERPツバイソ事業を会社分割し、ツバイソ株式会社を設立。
