カテゴリー: AIリスク・倫理

企業を守るために、AIを使って自社のシステムを24時間「攻撃」する。

一見矛盾しているように見えますが、いまやAIを使ったセキュリティ対策は、警告を分析するだけでなく、AI自身に弱点を探させるところまで進んでいます。

Palo Alto Networksは9月22日、AnthropicのClaude Mythos 5やOpenAIのGPT-5.6-Cyberなどの複数のAIモデルを使い、企業システムの脆弱性を継続的に探すサービスを発表しました。

WebアプリやAPI、クラウド環境を常時テストし、問題が見つかるのを待つのではなく、AIを動かし続けて先に弱点を探し出すもので、なぜ守る側までAIを常時動かす必要が出てきたのでしょうか。

AIが攻撃経路を探し、修正まで提案する

Palo Alto Networksのサービスが対象とするのは、Webアプリ、API、クラウド環境で、複数のAIモデルを利用し、これらを継続的にテストして脆弱性を探し、単発の検査を行うのではなく、常時テストすることが前提になっているのが特徴。

AIが行うのは弱点の発見までではなく、見つけた脆弱性に対して攻撃経路を探し、その結果をもとにコード修正や仮想パッチまで提案してくれます。

企業側から見ると、「問題を見つける」「どこから攻撃される可能性があるかを調べる」「修正方法を考える」という処理が、一連の流れとしてつながることになり、これが「AIで自社を攻撃する」という言葉の中身となります。

実際の攻撃を受けるまで待つのではなく、自社側でAIを動かし、攻撃を模したテストによって弱点を先に探し出す。

セキュリティ対策というと、外部から来た攻撃を検知して止める姿を想像しやすいものですが、この仕組みでは攻撃される前の探索にAIを投入しています。

AIを使う意味も、単純な作業の省力化とは少し異なり、脆弱性を探す処理そのものを継続して動かすことで、セキュリティ対策の時間軸が変わり、問題が起きた後に対応するだけではなく、問題になり得る場所を平常時から探し続ける運用となっています。

攻撃側が高速化すれば、防御側も待っていられない

こうした仕組みが必要になる背景には、AIが攻撃側でも利用できるという事情があり、分析では、攻撃側がAIを使えば、「脆弱性探索→攻撃方法生成→試行→修正→再試行」という一連の処理を高速で繰り返せるとされています。

人間が一つの問題を確認し、対応を考え、次の問題を調べるという進め方では、この反復速度に追いつきにくくなります。

攻撃側が探索や試行をAIで高速化するなら、防御側にも同じ速度で弱点を探し続ける仕組みが必要になり、Palo Alto Networksが継続的な脆弱性探索へAIを使うサービスを投入したことは、この構造とぴったりと重なります。

これまでのAI活用を、人間のセキュリティ担当者を補助する道具として捉えるなら、今回の仕組みはさらに自動化の範囲を広げていて、人間が調べるためにAIへ質問するのではなく、AIを常時稼働させ、システムをテストし続けるという流れに傾いています。

攻撃側と防御側の双方でAIが継続的に動くようになれば、サイバーセキュリティは、人間同士の攻防をAIが補助する段階から、AI同士が継続的に攻防する段階へ移る可能性も出てきます。

すでに企業全体でそうなったという話ではないのですが、継続的なAIによる脆弱性探索が実際のサービスとして登場したことで、その兆しは具体的な形になり始めています。

AIエージェントが動けば「権限」も守る対象になる

守る対象にも変化が出ています。

同じ週、企業向けセキュアブラウザを提供するIslandは4億ドルを調達し、企業価値は64億ドルに上昇しました。その成長要因として挙げられているのが、AIエージェントの利用に伴う新しいセキュリティ上の課題です。

AIエージェントは、ブラウザを使って企業システムへアクセスすることがあり、人間がブラウザを操作するだけだった環境に、AI自身が操作する場面が加われば、どの情報へアクセスできるのか、どこまで操作を許すのかという権限管理も防御の対象になります。

AIエージェントを利用する企業にとっては、外部から侵入される経路だけを管理すれば済むわけではなく、内部で動かすAIに何を許可するかも情報漏洩と関係してきます。

この先、AIエージェントの権限制御やAI操作専用ブラウザ、異常なAI行動を自動停止する仕組みが、企業のセキュリティ運用で一般化する可能性があり、AIによる24時間の脆弱性探索と組み合わされれば、「外からどう攻撃されるか」を調べる仕組みと、「中で動くAIに何をさせるか」を管理する仕組みが並行して動くことになります。

AIエージェントが企業システムを実際に操作する用途へ進むほど、防御側が管理するものも増えていき、AIを導入することと、そのAIが持つ権限を管理することが、同じ運用の中で扱われるべきものとなります。

人間は「全部を見る」役割から変わる可能性

脆弱性探索をAIが24時間続け、問題が見つかれば修正コードや仮想パッチまで提案、さらにAIエージェントの権限や異常な行動も管理する。

こうした仕組みが一般化していけば、人間のセキュリティ担当者が担う仕事も変わっていくことでしょう。

人間がすべての警告を一件ずつ確認する方法は、AIによる探索や試行の速度が上がるほど負担が大きくなります。

探索や修正支援をAIへ任せられる範囲が増えれば、人間はすべての処理へ直接関与するのではなく、その中で重要な判断を引き受ける役割へ移っていく可能性があり、これは人間の担当者が不要になるという話ではなく、人間が直接処理する範囲とAIへ任せる範囲の分担が変わるということなのでしょう。

「AIで自社を攻撃する」という発想も、この流れの中で見ると意味が変わり、攻撃を受けた後に人間が対応するのを待つのではなく、防御側でもAIを継続的に動かして弱点を探しておく。

AI時代のサイバーセキュリティを見るときは、攻撃側の能力がどこまで高まるかとともに、守る側がどこまでAIへ任せるようになるのかも、企業のセキュリティ運用を捉える材料になってきます。

AIがサイバー攻撃を助けるだけでなく、コンピューターの弱点を見つけ、攻撃方法を考え、修正まで進める段階に近づいています。

OpenAIとGoogleは9月、こうした高度なAIを一般向けとは分け、防御側の企業や政府などへ提供する動きを相次いで発表、AIの性能向上とともに「誰に、どこまで使わせるか」が重要になってきています。

AIは「弱点を教える」から「自分で探す」段階へ

これまでAIをセキュリティに使う場合、専門家がAIにコードを見せ「この部分に問題はないか」「どう直せばいいか」と質問する形が主流だったのですが、ここ最近AIエージェントの能力が高まってきたことから事情が変わってきます。

AIエージェントは、人間が一つひとつ指示しなくても、目的に向かって複数の作業を続けて実行するAIであり、「このシステムに弱点がないか調べる」と指示した場合、AIがコードを読み、問題になりそうな場所を探し、実際に試し、結果を確認し、別の方法を試すといった作業を連続して行ってくれます。

9月1日、OpenAIは新モデルAstraについて、同社の基準で初めて「Critical」と呼ぶ高度なサイバー能力に達していて、OpenAIの評価では、既に知られている脆弱性から攻撃コードを作るテストで100％を記録。

さらに2026年6〜8月に公開された高深刻度の脆弱性20件を使った社内評価では、評価中に2件の未知の脆弱性を発見し、攻撃に利用したのだそうです。

これらについては、あくまでもOpenAI自身による評価であり、第三者が同じ結果を確認したわけではありませし、テストで100％だったからといって、現実のシステムへ100％侵入できるという意味でもありません。

それでも重要なのは、AIの役割が変わり始めていることであり、AIは、人間に聞かれたことへ答えるだけでなく、自分で弱点を探して次の作業へ進む存在になりつつあります。

攻撃AIが強くなるなら、防御側も「早く直す」必要がある

AIが弱点を探す能力を高めれば、企業にとっては当然、心配事も増えることに。

これまで脆弱性を見つけて攻撃するには、専門知識と時間が必要だったのですが、AIがその作業を短時間で進められるようになれば、攻撃側の作業も一段と速くなる可能性があります。

そこで重要になるのが防御側のスピードで、弱点が見つかってから攻撃されるまでに時間があるなら、その間に修正すれば被害を防ぐことができますし、「攻撃されないようにする」だけでなく、「弱点を見つけたら、攻撃される前に直す」ことが重要になってきます。

AIが脆弱性を見つけるだけでなく、修正まで担う段階へ

Googleは9月3日、サイバーセキュリティ向けの「Gemini 3.8 Flash Cyber」を発表し、この特徴は、弱点を探すだけではなく、見つかった問題に対し、修正用のパッチを作ることにも重点が置かれいます。

Googleによれば、20種類のプログラミング言語を対象とした社内評価で、脆弱性の検出成功率は70％を超え、またChromeでは、大規模な商用モデルと比較して2.6倍の正確なパッチを生成したとしています。

これもGoogle自身による評価なので、すべての企業やシステムで同じ結果になるとは限りませんが、それでもその方向性は分かります。

AIの競争が「どれだけ弱点を見つけられるか」から、「見つけた弱点をどれだけ早く安全に直せるか」へ広がっているのです。

だから「強いAI」を誰にでも渡すわけではない

普通のAIなら、多くの人が同じモデルを使っても大きな問題にならないのでしょうけど、AIがコンピューターの弱点を探し、攻撃方法まで考えられるようになると話は変わってきます。

便利な能力である一方、悪用されれば危険になるわけで、そのためOpenAIは、Astraの高度なサイバー能力を一般利用と同じ条件では提供せず、利用範囲を限定しています。

これは、Googleも同様で、Googleは「Fairwind Program」を開始し、政府機関、重要インフラ事業者、セキュリティ企業など、防御を目的とする組織へ高度なサイバーAIを優先的に提供していくそうで、Googleによれば、参加パートナーは650を超えているのだとか。

ここからAIサービスの考え方が変わり始めていることが示されています。

これまでは「高性能なAIを作り」「できるだけ多くの人に提供する」という考え方が基本となっていたのですが、これからの高度なサイバー能力については、「高性能なAIを作り」「誰が使うのか確認し」「目的に応じて使える能力を決める」という仕組みが必要になってきます。

つまり、AIの性能だけでなく、AIへの「入場制限」も製品の一部になり始めたということです。

企業にとっては「AIを使うか」より「何をさせるか」が重要に

この変化は、セキュリティ専門家だけ話ではなく、企業がAIエージェントを仕事で使ううえでも、同じ問題が出てきます。

例えば、社内の文章を検索するだけのAIなら、比較的リスクは小さいのでしょうけど、「社内システムを調べる」「プログラムを書き換える」「ファイルを削除する」「外部サービスを操作する」といった権限までAIに与えれば、できることは大きく増え、その分、AIが間違えたときの影響も大きくなってしまいます。

そのため企業では、AIを導入すること自体よりも、AIにどこまで権限を与えるのかが重要になり、特に重要なシステムでは、AIが作った修正をそのまま反映させず、人間が確認してから実行する仕組みが必要になるでしょう。

操作記録を残したり、問題が起きたときに元へ戻せるようにしたりすることも重要であり、これは「AIを信用するか、信用しないか」という話だけでなく、AIに任せる仕事が増えるほど、AIが間違えても被害を広げない仕組みが必要になるということです。

私たちの生活では「AI」よりインフラの防御力が変わる

一般の利用者が、Astraや高度なサイバーAIを直接使うことはないでしょうけど、それでも無関係とは言い切れません。

私たちが日常的に使っている銀行、病院、自治体、水道、電力などのシステムも、サイバー攻撃の対象になりますし、もしAIによって古いプログラムの弱点を短時間で見つけられ、修正まで早くできるようになれば、こうしたサービスの防御力を高められていくはずです。

「見つける」だけでは防御にならない

今回のOpenAIとGoogleの動きで、サイバー防御の考え方は明確に変わり始めています。

これまでAIによるセキュリティ対策では「人間より多くの脆弱性を見つけられるか」が大きなポイントでしたが、脆弱性を見つけるだけでは防御は完了しません。

弱点が見つかれば、その情報をもとに攻撃される可能性があり、だからこそ重要になるのが、発見した弱点をどれだけ早く修正できるかということ。

Googleが発表したGemini 3.8 Flash Cyberは、脆弱性を探すだけでなく、修正用のパッチ作成までAIに担わせており、OpenAIもAstraによる高度な脆弱性発見と、Daybreakを通じた防御側への提供を進めています。

つまり、AIの役割は「弱点を教えるところ」で止まらず、弱点を見つけ、修正するところまで広がっているわけです。

これから企業のサイバー防御で問われるのは、脆弱性が発見されてから修正が完了するまでの時間。

人間が調査し、原因を確認し、修正方法を考え、コードを書き、テストしていた作業をAIが短縮できれば、攻撃者に与える時間を減らすことができます。

逆に、AIが未知の脆弱性を発見できても、修正に時間がかかるなら、防御側の優位にはつながりません。

サイバー攻撃では、「いつ攻撃されるか」を完全に予測することはできません。

だからこそ、防御側がコントロールできるのは、弱点を見つけてから塞ぐまでの時間の短縮であり、AIによってこの時間を大幅に短縮できるなら、サイバー防御の仕組みそのものが変わっていくはずです。

AIエージェントの安全性は、モデルだけでは決まりません。

AIがどのシステムに接続でき、どこまで操作できるのか？さらに、その行動を監視し、異常時に止められるのか。こうしたモデルの外側にある仕組みまで含めて考える必要があります。

従来の生成AIでは、差別的な表現や犯罪につながる情報など「危険な回答を出させないこと」が安全対策の中心だったのですが、AIエージェントは、文章を返すだけではなく、調査からツールの利用、コードの実行、外部システムへの接続まで複数の作業を連続して進めることができます。

そのため、安全性を見る基準も変わり、AIが「何を答えるか」だけでなく、「何を実行できるか」まで見る必要があります。

隔離環境の外までAIが動いた

OpenAIとAnthropicをめぐる問題では、セキュリティーテスト中のAIエージェントが用意された隔離環境を抜け、他社システムへ侵入。

具体的なテスト条件や侵入範囲は明らかにされていませんが、AIの行動が想定された環境の外まで及び得ることが、議会の関心事項になった形。

米下院議員らが両社に説明を求めた対象も、モデルそのものに限られておらず、安全管理や監視体制も含まれており、AI企業による内部管理だけで安全性を判断するのではなく、独立したセキュリティー監査を求める議論が出ているのも、この問題とつながっています。

同じ週には台湾政府も、7月に政府機関を狙った攻撃で、人間による操作とAIエージェントが組み合わされていたと発表しており、さらに、複数のAIエージェントが連携し、認証情報の窃取やシステムの脆弱性探索を行ったとされる事例も報告されています。

攻撃主体や個々の事例の関係は、ここでは特定できませんが、AIエージェントのリスクがテスト環境だけの話ではなく、実際の攻撃でも報告されている点は分けて考える必要があります。

危険な「回答」と危険な「行動」は違う

従来型の生成AIでは、危険な質問への回答を拒否させるなど、出力する情報の制御が安全対策の中心であり、今後も必要な対策ではあるのですが、外部ツールを操作できるAIエージェントでは、それだけでは足りません。

たとえば、AIにメールの作成だけを任せる場合と、送信まで許可する場合ではリスクが大きく異なります。

文章を間違えただけなら、人間が送信前に修正できますが、送信権限まで持たせてしまえば、AIの判断がそのまま外部への行動につながってしまいます。

社内システムへの接続でも同じで、限られたデータだけを閲覧できるAIと、全社のデータや外部サービスまで操作できるAIでは、誤作動した場合の影響範囲がまったく違います。

重要なのは、AIの能力が高いこと自体を危険視することではなく、高い能力と広い実行権限が組み合わさるほど、判断を誤ったときの影響が大きくなるということ。

モデルの外側に四つの制御を置く

行動できる範囲がリスクを左右するなら、安全対策もモデル内部の調整だけでは完結せず、必要になるのが、モデルの外側に置く「ブレーキ」。

一つ目は権限の制限で、AIが接続できるシステムや実行できる操作を限定しておけば、誤った判断をしても影響が無制限に広がることを防ぎやすくなります。

二つ目は実行環境で、AIが自由に外部へアクセスできる状態ではなく、行動できる範囲そのものを区切ります。

権限と実行環境は「AIがどこまで動けるか」を決める仕組みと言えます。

そして、そこに監視と停止機構を加え、AIが実際に何をしたのか記録し、想定外の行動があれば人間が介入するようにし、必要なら処理そのものを止められる状態にしておきます。

モデル内部の安全対策との違いはここにあり、危険な操作をしないようAIを調整する方法は、最終的にはモデルの判断に依存します。

一方、権限や実行環境をシステム側で制限すれば、モデルが誤った判断をしても、その外側で行動を制限できます。

どちらか一方を選ぶというものでもなく、モデル内部の安全対策に加え、権限、実行環境、監視、停止機構を重ねるという設計が必須となってきます。

AI選びでは「何をさせないか」も見る

企業がAIエージェントを導入するときも、性能や回答精度だけでは比較できなくなってきます。

どのシステムへ接続できるのか、どの操作まで自動実行できるのか、重要な操作に人間の承認を挟めるのか。

さらに、行動履歴を確認できるか、問題が起きたときに強制停止できるかも確認項目になります。

これは初期の頃の「最も賢いAIを選べばいい」という考え方とは違い、能力が高くても、必要以上の権限を与えればリスクは増えてしまうだけ。

一方で、権限を限定し、人間による承認や監視を挟めば、誤った判断が外部へ及ぶ範囲を狭められます。

AIへ仕事を任せることは、同時に何らかの権限を渡すことでもあり、だからこそAIエージェントを選ぶときは「何ができるか」だけではなく、「何をさせない設計になっているか」まで確認する必要があります。