AI関連の研究をしてきた公認会計士が、AIエージェントを「統制」から設計する理由
ツバイソの印具です。
当社は、社内の業務にAIエージェントを使っています。全社員に同じ基本の手順書を配布し、その手順書に従ってAIエージェントを使う運用にしています。
当社は、AIエージェントの使い方を設計するとき、人が確認し、承認する時点を先に決めています。AIに何をさせるかは、その後で決めます。その時点が決まれば、AIに任せられる範囲もそこから決まるためです。人が確認できる回数には限りがあり、時点を絞って決めておかなければ、確認が間に合わずに作業が滞るか、確認が形骸化します。
この記事では、そう考える理由を説明し、私の業務用の手順書で承認の時点を見直した事例を紹介します。
シャドーAIでは、確認の仕方が人ごとに異なる
シャドーAIとは、会社が把握・管理していない範囲で、社員が個別にAIを使う状態を指します。MicrosoftとLinkedInが2024年に31か国の知識労働者を対象に行った調査では、AIを使う人の78%が、自分のAIツールを職場に持ち込んでいると報告されています。会社が用意したツール以外のAIが、職場で広く使われていることを示す数字です。
シャドーAIの問題としては、情報漏えいの危険がよく挙げられます。私は、情報漏えいと同じ程度に、属人化を重く見ています。
シャドーAIでは、AIにどこまで任せ、どの時点で人が確認するかを、使う人がそれぞれ決めます。AIを使いこなす社員の生産性は上がります。しかし、成果物の品質は、その人の確認の手順に左右されます。その手順は、組織に引き継がれません。部門長は、成果物の品質を保証する根拠を持てません。
研究から学んだこと：人が評価できる回数には限りがある
私は大学院で、遺伝的アルゴリズムと、人が評価に加わる対話型遺伝的アルゴリズムを研究していました。
遺伝的アルゴリズムは、解の候補を生成し、評価の高い候補を残しながら世代を重ねて、よりよい解を探索する方法です。対話型では、その評価を人が担います。デザインや音楽のように、良し悪しを数式で表しにくい対象に使われてきました。
この分野の研究を高木英行氏が概観した論文（Proceedings of the IEEE、2001年）の草稿には、次の一節があります。
"The number of EC search generations is limited by human fatigue as well, and 10 or 20 EC search generations are usually the maximum number of generations for normal use of the IEC search."
論文は、評価者の疲労のため、探索を続けられる世代数にも上限があり、通常は10〜20世代が限度だと指摘しています。機械は候補を際限なく生成できますが、人の評価が間に合いません。そのため、少ない世代でよりよい解に近づける方法が、研究の主題の一つになっていました。
人が確認できる回数に限りがある点は、AIエージェントでも変わりません。AIが作業を進め、人がその結果を確認し、承認します。AIの作業量に合わせて人の確認を増やせば、承認者の処理能力を超え、確認が滞ります。
監査から学んだこと：形骸化した承認は統制として機能しない
監査では、承認の記録とあわせて、承認した人が承認する内容を確認できる状態にあるかを検証します。確認の回数が多すぎれば、承認のたびに作業が止まるか、承認が形骸化して統制として機能しなくなります。
内部統制の基本の一つは、誰が担当しても一定の結果が得られるように、承認や職務の分離などを組み合わせて業務を設計することです。作成と承認を分ける考え方は、AIが作業を進め、人が承認する分担にも適用できます。
AIエージェントの統制とは、人が確認する時点を、使う人ごとの判断に任せず、会社の仕組みとして定めることだと私は考えています。
当社の事例：確認の時点を全社で定め、私の業務では承認を2回にまとめた
全社員に配布している基本の手順書では、人の確認の時点を定めています。SlackやJiraなどのツールへ投稿・公開する前には、AIエージェントが必ず全文を提示し、明示の承認を得ます。承認は、提示した文面に限ります。「全部やっておいて」のような包括的な指示は、承認として扱いません。どの社員がAIエージェントを使っても、投稿・公開する文面は同じ時点で人が確認すると定めています。
あわせて、AIエージェントがSalesforceなどのシステムに接続するときは、利用者本人のログインで接続し、本人の権限の範囲内に限って操作するよう設計しています。
会社として揃えたのは、投稿・公開する前に全文を確認し、承認する時点です。AIに任せる範囲の決め方は、私の業務で試しています。
確認の時点が多すぎると、作業が進まなくなります。私自身の業務で使うAIエージェントの手順書（以下、私の業務用の手順書）は、規定を追加してきた結果、AIエージェントが作業を止めて承認を待つ規定が約70か所に増えていました。ツールへの投稿の前、計画の確認、途中の確認、判断の確認などです。その結果、承認のたびに作業が止まっていました。
そこで、約70か所の規定を整理し、1つの作業で承認する時点を、原則として次の2つにまとめました。
| 承認の時点 | 承認の対象 |
|---|---|
| 作業の開始時 | 何を、どこまでAIエージェントに任せるか |
| 作業の完了時 | 成果物と、投稿・公開する文面やシステムへ登録する内容の全文 |
その間の作業は、開始時に承認した範囲の中でAIエージェントが進めます。次の場合は、AIエージェントが作業を止めて承認を求めます。範囲の変更が必要になった場合、AIエージェントが判断できない場合、取り消せない操作や、費用が発生する操作・権限を変更する操作を実行する場合、承認の規定そのものを緩める変更を行う場合です。
途中経過の承認は廃止しました。投稿・公開する文面やシステムへの登録など、外へ書き込む内容は、1件も承認の対象から除いていません。完了時には、成果物と、外へ書き込む内容の全文を1件ずつ並べて提示し、並べた分に限って1回で承認します。全社の手順書でも、列挙して全文を提示した文面に限り、まとめて承認することを認めています。開始時に任せる範囲を承認しているため、完了時は並べた全文の確認に集中できます。承認後の文面は変更しません。
統制は、AIに任せる範囲を広げるための設計
統制は、AIの活用を制限する仕組みと受け取られがちです。私は、統制はAIに任せる範囲を広げるための設計だと考えています。人の確認の時点を絞り、その時点では全文を提示して確認します。これにより、承認の時点以外の作業は、AIエージェントに任せられます。
当社のAIエージェントの設計を1文で表すと、次のとおりです。
AIエージェントは、承認された範囲の中でだけ業務を効率化する。
ここで言う範囲は、承認を得た文面と、利用者本人の権限の範囲です。私の業務用の手順書では、これに開始時に承認する作業の範囲が加わります。
当社が全社員に配布している基本の手順書を、社外の方にもご利用いただけるよう整備する予定です（提供の準備中です）。
出典
- Hideyuki Takagi「Interactive Evolutionary Computation: Fusion of the Capabilities of EC Optimization and Human Evaluation」Proceedings of the IEEE 89巻9号、2001年 https://doi.org/10.1109/5.949485 （引用は著者が公開した草稿の第2節による）
- Microsoft・LinkedIn「2024 Work Trend Index Annual Report: AI at Work Is Here. Now Comes the Hard Part」2024年 https://www.microsoft.com/en-us/worklab/work-trend-index/ai-at-work-is-here-now-comes-the-hard-part
ツバイソ株式会社
代表取締役 CEO 印具 毅雄(イング タケオ)
公認会計士、税理士
広島生まれ、福岡育ち。中学生の頃からパソコン、プログラミングが好きで、N88-BASICやマシン語に親しむ。大学、大学院では、AI関連技術のニューラルネットワーク、ファジィシステムとともに遺伝的アルゴリズムの改善研究をC言語で行う。
1999年、修士（芸術工学）。日本知能情報ファジィ学会論文賞受賞「単峰性関数当てはめによるGA（遺伝的アルゴリズム）収束高速化」
インターネットベンチャーを立ち上げるべく、経営の勉強のために公認会計士を取得（公認会計士二次試験2000年合格、登録番号19193）。監査法人トーマツ（Deloitte）を経て、2006年にブルドッグウォータ株式会社の創業、事業開始。
2015年、同社よりRobotERPツバイソ事業を会社分割し、ツバイソ株式会社を設立。
