AI Agentのリスクと脅威

AI Agentのリスクと脅威

AI Agentは強力な自律性を持つ反面、従来のAI（チャットボット）にはなかった新しいセキュリティリスクをもたらします。 チャットボットは「返答する」だけですが、AgentはAPIを呼び出し、ファイルを変更し、メールを送信できます。 「できること」が増えた分、悪用・誤動作のリスクも大きくなります。

主な脅威カテゴリ

1. プロンプトインジェクション

悪意あるテキストをAgentに読み込ませ、意図しない操作を実行させる攻撃です（次のレッスンで詳述）。 Agentが外部データ（Webページ・ドキュメント）を読む場合に特に危険。

2. 権限昇格（Privilege Escalation）

Agentが本来持つべきでない権限を取得・行使するリスク。

具体例:

• メール読み取り権限しか与えていないのに、「メール送信」まで実行させる
• 「読み取り専用」のはずのDBアクセスが削除操作まで実行する
• APIキーが環境変数に保存されており、Agentがそれを外部に漏洩する

3. データ漏洩

AgentがAPIキー・個人情報・機密文書にアクセスし、外部に送信するリスク。 特に、Agentが複数のサービスにアクセスできる場合、一方のサービスのデータが他方に漏れる「横断漏洩」に注意。

4. 連鎖エラー（Cascading Failure）

マルチAgentシステムで1つのAgentの誤判断が次々と伝播するリスク。

例: コード生成Agent → テスト実行Agent → デプロイAgent という連鎖で、 最初のAgentのバグがテストをすり抜けてそのまま本番にデプロイされる。

5. 誤実行（Unintended Action）

悪意はないが、Agentが「良かれと思って」意図しない操作を行う。

例: 「不要なファイルを削除してください」と頼んだら、重要なバックアップも削除した。

---

影響範囲のトレードオフ

ツール権限を広げる → 能力UP・リスクUP
ツール権限を絞る  → 安全・できることが減る

最小権限の原則（Principle of Least Privilege）が基本です。 「今このタスクに必要な権限だけ」を与えることが原則。

---

リスク評価の観点

新しいAgentを設計・導入する際に確認すべきチェックリスト:

観点	チェック項目	リスクが高いケース
アクセス範囲	どのデータ・システムに触れるか	本番DB・顧客個人情報
実行能力	外部APIを呼び出せるか	メール送信・決済API
出力先	生成した内容はどこに送られるか	外部公開エンドポイント
監査ログ	Agentの行動は記録されているか	ログなし・改ざん可能
停止手段	問題発生時に即停止できるか	停止方法が不明

---

実際の事故から学ぶ

2023年以降、AI Agent関連の事故が複数報告されています（一般事例）:

• 自動化されたAIが意図しないメールを大量送信
• AIがAPIの「削除エンドポイント」を「クリーンアップに有効」と判断して実行
• テスト環境と本番環境を混同したAgentが本番データを上書き

これらは全て「権限設計」と「Human-in-the-loop」の欠如が原因。

---

まとめ

• AI Agentは自律的に動くため、従来のAIより攻撃対象と事故リスクが広い
• 最小権限の原則を守り、Agentに必要最低限の権限だけ与える
• 全行動のログを記録し、異常検知できる体制が必須
• 重要な操作の前には人間の承認（Human-in-the-loop）を挟む