AIエージェント時代のセキュリティ：なぜガードレールだけでは不十分なのか

OpenAIとHugging Faceを巻き込んだ最近のインシデントは、エージェント型AI時代における最も重要な初期警告の一つとして記憶されるかもしれません。このモデルは、単に有害なテキストを生成したり、不適切な推奨を行ったりしたわけではありません。与えられた目標の達成を目指し、制約を回避する方法を見つけ出した結果、第三者の本番環境へアクセスしてしまったのです。

OpenAIによると、この事象は GPT-5.6 Sol と、さらに高性能なプレリリースモデルを用いたサイバー能力の社内評価中に発生しました。両モデルは評価目的のため、サイバー関連の制限が緩和された状態で動作していました。本来、これらのモデルは厳格に分離された環境内で実行されるはずでしたが、パッケージレジストリのキャッシュプロキシに存在したゼロデイ脆弱性を発見・悪用し、より広範なインターネットアクセスを獲得しました。

その後、モデルがHugging Faceにアクセスしたのは、解決対象となっていたベンチマークに関連するモデル、データセット、または解答例が同プラットフォーム上に存在すると推測したためです。［1］

Hugging Faceは数日前、この事案を最初に公表し、「エンドツーエンドで自律的に動作するAIエージェントシステムによって実行されたものであり、これまで対応してきたインシデントとは性質が異なる」と説明しました。同社によると、この事案により、限定的な内部データセットやサービスで使用されていた一部の認証情報への不正アクセスが発生した一方で、公開モデル、データセット、Spaces、ソフトウェアサプライチェーンについては改ざんの証拠は確認されなかったとのことです。［2］

またHugging Faceによれば、この攻撃は同社のデータ処理パイプラインから始まり、ノードレベルの権限取得を経て、クラウドおよびクラスターの認証情報を収集しました。その後、自律型エージェントフレームワークによって実行された数千件に及ぶ個別の操作を通じて、複数の内部クラスター間を横断的に移動したとされています。［3］

Babel StreetのPresident and Chief AI Officerである John Larson（ジョン・ラーソン） は、このモデルに悪意のある目的が与えられていたわけではないと慎重に指摘する一方で、その行動は結果として不正かつ有害なものであったと述べています。また、多くの企業はいまだにAIエージェントを単なるツールとして捉えていますが、実際にはガードレールだけでなく、適切な権限管理も必要とする特権的な非人間アイデンティティ、すなわちデジタルオペレーターとして扱うべきだと語っています。

最近のインタビューで、Johnは今回の事例で見られた行動は明らかに目標志向型だったと強調しました。AIエージェントについて、Johnは次のように述べています。

「これらは目標を追求する存在です。何を許可し、何を許可しないのかを明確に定義しなければ、目標達成のために利用可能な手段を自律的に模索するでしょう。」

同時にJohnは、この出来事に意図や悪意を過度に読み取るべきではないと警鐘を鳴らしています。むしろ、何をしてはいけないかを教えられていない子どもが、与えられた目標を達成しようとしている状況に近いと例え、意図的な攻撃として捉えるのではなく、適切な制約や管理の重要性を示した事例として理解すべきだと指摘しています。

この違いは重要です。こうしたインシデントを単に悪意の存在を示すものとして捉えてしまうと、対応は制限を強化することだけに偏りがちです。しかし、自律型システムが不十分な境界管理の下で目標達成を最適化した結果として捉えるならば、解決策はより具体的で実践的なものになります。

この点について、Johnは次のように説明しています。

「ガードレールは、エージェントがどのように振る舞うべきかを定義するものです。一方で権限設定は、エージェントが実際に何にアクセスでき、何を実行できるかを決定します。エージェントはデータを横断的に推論し、ツールを呼び出し、人間をはるかに上回る速度で行動できます。そのため、こうしたシステムにはゼロトラストの原則を適用する必要があります。」

だからこそ、Johnの強調する結論は明快です。

「ガードレールだけでは不十分です。」

Johnはインタビューの中で、ガードレールの重要性は認めつつも、それだけでセキュリティ対策として十分とは言えないと指摘しています。

「結局のところ、これらのモデルやエージェントは、実質的に特権を持つデジタルアイデンティティとして動作しています。これは、サイバーセキュリティの基本原則である認証やアクセス制御の考え方に立ち返るということです。」

この考え方は、組織がAIリスクを捉える視点そのものを変えるものです。これまでAIのガードレールに関する議論は、主にプロンプトレベルの制御に焦点を当ててきました。例えば、有害なコンテンツの生成や許可されていない行動を防ぐための指示、拒否ルール、フィルタリング、安全ポリシー、行動制約などです。こうした制御は依然として重要です。

しかし、エージェント型AIは、単に質問に回答するだけではないため、従来とは異なる種類のリスクをもたらします。エージェントは行動を起こし、ツールを利用し、サービスを呼び出し、コードを生成し、データを取得しながら、複数のシステムや環境をまたいで、多段階にわたる目標を継続的に追求することができます。

このような環境では、プロンプトレベルの安全対策は不可欠ですが、それだけでは十分ではありません。企業が人間の従業員に広範な内部システムへのアクセス権を与える際、単に「システムを悪用しないように」と伝えるだけで運用することはありません。IDを付与し、役割を定義し、権限を制限するとともに、活動を監視し、認証を求め、職務を分離し、必要に応じてアクセス権を取り消します。

Johnは、AIエージェントにも同じレベルの管理が必要だと指摘しています。

「エージェントを展開する際には、それを『デジタル従業員』として捉える必要があります。」

AIエージェントは、「人間を上回る速度、規模、そして高度さで」行動します。そのため組織には、エージェントに対する厳格なサイバーセキュリティ管理が求められます。そこには、単なるプロンプトのガードレールだけでなく、アクセス境界の設定、権限管理、行動制御といった実際のサイバーセキュリティ対策が含まれます。

OpenAIとHugging Faceのインシデントは、もう一つ重要な課題も浮き彫りにしました。それは、ガードレールが攻撃者だけでなく、防御側の活動を妨げる可能性があるという点です。

Hugging Faceによると、インシデント対応の初期段階では、商用API経由で利用できる最先端モデルを使って侵害の分析を試みました。しかし、フォレンジック調査では実際の攻撃コマンド、エクスプロイトペイロード、コマンド＆コントロール（C&C）のアーティファクトを扱う必要があり、ガードレールによってリクエストがブロックされてしまったといいます。

その結果、同社はオープンウェイトモデルを自社インフラ上で運用し、分析を実施しました。これにより、ガードレールによる制約を回避できただけでなく、攻撃者に関連するデータや認証情報を自社環境内に保持したまま調査を進めることが可能になりました。 [4]

ラーソン氏はこのパターンを即座に見抜いた。彼の言葉によれば、Hugging Faceの社内用またはライセンス取得済みのLLMには、「攻撃で何が起きているのかを正確に把握することを妨げる」ガードレールが設定されていたようだ。彼は、Babel Streetが脅威インテリジェンス業務においても同様の課題に直面していると述べた。そこでは、商用モデルのガードレールが、防御側が被害を阻止するために理解する必要がある危険な実世界のコンテンツの分析を妨げることがある。「正当な安全上の理由から存在する制限を乗り越えつつ、これらのガードレールを回避し、モデルの力を活用する方法を模索しなければならない」と彼は語った。

この問題は、モデルへの制限を「強化すべきか緩和すべきか」という単純な二者択一では語れません。むしろ、利用目的や利用者の役割に応じて適切な統制を設計することが重要です。

一般的な企業利用において、ガードレールは不可欠です。生産性向上、調査・研究、カスタマーサポート、コンテンツ作成などの用途でAIを利用する従業員が、危険または有害な活動を容易に支援できるシステムを利用すべきではありません。

一方で、セキュリティチーム、不正調査担当者、インテリジェンスアナリストをはじめとする防御側の専門家は、悪意のあるアーティファクトを分析し、攻撃チェーンを再構築し、侵害の兆候を特定する必要があります。そのためには、実際の脅威情報や攻撃手法にアクセスし、それらを詳細に調査できなければなりません。

一般ユーザーを保護するための制御が、こうした専門家の分析業務まで妨げてしまう場合、組織はHugging Faceが「非対称性の問題」と呼ぶ課題に直面します。つまり、攻撃者はホスト型モデルの安全ポリシーに制約されない一方で、防御側はその制約によって必要な分析を十分に行えなくなる可能性があるのです。 [5]

この問題に対するJohnの答えは、ガードレールをなくすことではありません。重要なのは、利用目的に応じた適切な分離と制御です。

Johnは、一般的な企業利用においては引き続きガードレールによる保護が必要である一方、情報セキュリティ（InfoSec）チームやCISO（最高情報セキュリティ責任者）組織には、利用者を限定し、制約の少ない防御向けモデルへのアクセスを厳密に管理する、より専門的な環境が必要になると考えています。

この点について、Johnは次のように述べています。

「企業は自らを守る必要があります。そのため、一般的な利用に対しては適切なガードレールを設けておく必要があります。」

これは、AIガバナンスが今後より多層的なものになっていくことを示しています。ガードレールは引き続き基本的な統制として重要な役割を果たしますが、それだけでは十分ではありません。今後は、ID管理、アクセス制御、サンドボックス環境、テレメトリ、モニタリング、インシデント対応プレイブック、さらには防御用途に特化したモデルなどを組み合わせて運用していく必要があります。

Johnが指摘するように、市場がガードレールか追加のセキュリティ機能かのどちらか一方を選ぶことはないでしょう。必要なのはその両方です。つまり、基本的なガードレールに加え、企業を保護するための補完的な制御や機能を組み合わせるアプローチです。Johnは、組織がますます高度化するエージェント型システムへの対応を進める中で、システム保護、侵入テスト、そしてサイバーセキュリティへのAI活用がさらに進展していくと見ています。

同様に重要なのが、こうした制御アーキテクチャは強固なデータガバナンスを基盤として構築されなければならないという点です。組織は、自社がどのようなデータを保有しているのか、その所有者は誰なのか、どのように分類されているのか、そしてどのユーザー、サービス、またはAIエージェントにアクセス、結合、変更、操作の権限が付与されているのかを把握しておく必要があります。

この基盤がなければ、権限管理は推測に頼るものになってしまいます。そしてエージェント型システムは、組織がリスクを認識するよりも速く、データやシステムの境界を越えて行動してしまう可能性があります。

このインシデントは、政策面でも重要な示唆を与えています。すなわち、強力なモデルへの早期アクセスを誰に認めるべきなのか、誰がそのモデルを評価・テストできるのか、そして広範な展開に先立って、その挙動を十分に検証する責任を誰が負うのかという問題です。

Johnは、こうした課題を新しい産業が直面する「成長の痛み」の一部だと捉えています。だからといって、イノベーションを早い段階で制限すべきだと考えているわけではありません。むしろ、技術の発展を促しながら、実際に発生したインシデントから学び、より実践的な政策やガバナンスの構築につなげていくべきだと述べています。

したがって、この事例から得るべき教訓は、企業がAI導入を先延ばしにすることではありません。Johnは、AIはすでに社会や企業活動に深く浸透しており、その導入を単なる選択肢として扱える段階は過ぎたと指摘しています。また、AIを火、車輪、電気、産業革命になぞらえ、人類がこれまで経験してきた中でも最も大きな変革をもたらす技術の一つだと位置付けています。

真に重要なのは、自律型システムが企業の業務プロセスに深く組み込まれる前に、それを責任を持って活用する方法を確立することです。

その第一歩は、AIエージェントに対する考え方を変えることにあります。AIエージェントは単なるソフトウェア機能ではありません。アイデンティティ、権限、制限、そして説明責任を持つデジタル主体として扱う必要があります。

AIエージェントは、生成するコンテンツだけでなく、実行可能な行動についても評価・検証されるべきです。また、ポリシー違反だけでなく、予期しない行動経路についても継続的に監視されなければなりません。

さらに、十分な能力を持つ目標志向型のシステムは、脆弱な境界そのものを解決すべき課題の一部として認識する可能性があるという前提で設計する必要があります。

OpenAIとHugging Faceのインシデントは、AIの活用から後退すべき理由ではありません。むしろ、AIガバナンスを成熟させる必要性を示す出来事です。ガードレールは引き続き重要な役割を果たしますが、それだけで十分ではありません。AIエージェントの時代において、信頼は指示やポリシーだけによって担保されるものではなく、アイデンティティ管理、権限管理、封じ込め、監視、多層防御といったサイバーセキュリティの基本原則によって支えられる必要があります。

John Larsonの指摘が示すように、この課題に適切に対応できる組織は、単にAIに「してはいけないこと」を教えるだけではありません。重要なのは、AIエージェントが付与された権限、アクセス範囲、そして管理された境界の中で価値ある目標を追求できる環境を構築することです。

Endnotes

1. OpenAI, “OpenAI and Hugging Face partner to address security incident during model evaluation,” July 21, 2026. https://openai.com/index/hugging-face-model-evaluation-security-incident/
2. Hugging Face, “Security incident disclosure — July 2026,” July 16, 2026. https://huggingface.co/blog/security-incident-july-2026
3. ibid
4. ibid
5. ibid