自律AIのミスを防ぐ。日立の運用技術

自律的にタスクをこなすAIエージェントの導入が進む中、企業のシステム担当者は「どこまでAIに業務を任せてよいのか」というジレンマに直面している。特に社会インフラなどの重要業務において、AIの誤判断は取り返しのつかない事態を招きかねない。このリスクに対し、AIの行動を実行前に検証し、安全を担保する新たな技術が開発された。AIの自律性と業務の継続性を両立させる、実践的なアプローチの現在地を紐解く。（文＝AIBase編集部）

▼AI活用のヒントを毎日掲載！
AI活用の基盤をつくる『AI Base』

2026年9月、株式会社日立製作所は、「AI品質維持サイクル」技術の開発を発表した。本技術は、社会インフラや産業分野など、停止や誤判断の影響が大きい業務においてAIエージェントの品質を維持・管理するものだ。

近年、AIエージェントは情報の検索や提案にとどまらず、自律的に業務を実行する段階へと進化している。しかし、ミスが許されないミッションクリティカルな現場では、AIの言語モデルとしての精度が高いだけでは不十分だ。業務手順を正しく遵守できるか、異常時にどう対応するかといった、運用の妥当性を評価する仕組みが不可欠だった。

（引用元：PR TIMES）

今回開発された技術は、この課題を三つのステップで解決する。第一に「業務観点での品質評価」だ。AIの出力精度だけでなく、業務への影響や責任分担を踏まえ、「どの業務を、どの条件で、どこまで任せられるか」を明確に定義する。第二に「実行時制御」である。AIが外部ツールなどを操作する際、事前に業務手順に沿っているかをシステムが検証する。リスクに応じて利用者への確認や行動の見直し、停止を段階的に行う。第三に「AI品質維持・運用」だ。日立が培ってきた現場（OT）とITの知見を組み合わせ、実運用で得たデータをもとにAIに任せる範囲を継続的に見直していく。

同社は今後、設備保守やIT運用などの分野で検証を進め、次世代ソリューション群の基盤技術として発展させていく構えだ。

今回の技術開発は、企業におけるAI活用のフェーズが、AIの「賢さ」を競う段階から、それをいかに安全かつ着実に「業務へ組み込むか」という運用のフェーズへと移行したことを示している。

AIエージェントが自律的にシステムを操作し始めたとき、現場の責任者が最も恐れるのは「AIが想定外の行動をとり、システムを破壊したり誤った処理を強行したりすること」だ。特に電力や交通といった社会インフラにおいては、一度の誤判断が甚大な被害をもたらす。そのため、多くの企業がAIの導入を安全な領域にとどめ、基幹業務への適用に足踏みしていた。

日立のアプローチが実務的なのは、AIの行動を単純に許可か停止かの二択にするのではなく、リスクに応じて「人間への確認」や「内容の見直し」を挟む柔軟な制御機能を設けた点にある。AIが逸脱した動きを見せた際、いきなりシステムを全停止させるのではなく、業務の継続性に配慮しながら安全を担保する。この「人間による監視と介入の余地」を残す設計思想こそが、現場の心理的なハードルを下げ、AIへの信頼を育む最大の鍵となる。

さらに、運用しながら徐々にAIに任せる範囲を広げていくサイクルは、失敗が許されない現場において合理的な導入プロセスと言える。最初は人間の監視下で小さなタスクから始め、実績が積み上がるにつれてAIの自律性を高めていく。

テクノロジーが進化しても、最終的な責任を負うのは人間だ。AIを野放しにせず、強固な安全網の中でその能力を最大限に引き出すマネジメントの仕組みが不可欠となる。現場の運用知見と高度なITが融合したこの品質維持の技術は、安全な自動化を目指すあらゆる産業において、次世代の業務基盤を構築するための基準となっていくはずだ。

▼AI活用のヒントを毎日掲載！
AI活用の基盤をつくる『AI Base』