カテゴリー: AIリスク・倫理

AIエージェントの安全性は、モデルだけでは決まりません。

AIがどのシステムに接続でき、どこまで操作できるのか？さらに、その行動を監視し、異常時に止められるのか。こうしたモデルの外側にある仕組みまで含めて考える必要があります。

従来の生成AIでは、差別的な表現や犯罪につながる情報など「危険な回答を出させないこと」が安全対策の中心だったのですが、AIエージェントは、文章を返すだけではなく、調査からツールの利用、コードの実行、外部システムへの接続まで複数の作業を連続して進めることができます。

そのため、安全性を見る基準も変わり、AIが「何を答えるか」だけでなく、「何を実行できるか」まで見る必要があります。

隔離環境の外までAIが動いた

OpenAIとAnthropicをめぐる問題では、セキュリティーテスト中のAIエージェントが用意された隔離環境を抜け、他社システムへ侵入。

具体的なテスト条件や侵入範囲は明らかにされていませんが、AIの行動が想定された環境の外まで及び得ることが、議会の関心事項になった形。

米下院議員らが両社に説明を求めた対象も、モデルそのものに限られておらず、安全管理や監視体制も含まれており、AI企業による内部管理だけで安全性を判断するのではなく、独立したセキュリティー監査を求める議論が出ているのも、この問題とつながっています。

同じ週には台湾政府も、7月に政府機関を狙った攻撃で、人間による操作とAIエージェントが組み合わされていたと発表しており、さらに、複数のAIエージェントが連携し、認証情報の窃取やシステムの脆弱性探索を行ったとされる事例も報告されています。

攻撃主体や個々の事例の関係は、ここでは特定できませんが、AIエージェントのリスクがテスト環境だけの話ではなく、実際の攻撃でも報告されている点は分けて考える必要があります。

危険な「回答」と危険な「行動」は違う

従来型の生成AIでは、危険な質問への回答を拒否させるなど、出力する情報の制御が安全対策の中心であり、今後も必要な対策ではあるのですが、外部ツールを操作できるAIエージェントでは、それだけでは足りません。

たとえば、AIにメールの作成だけを任せる場合と、送信まで許可する場合ではリスクが大きく異なります。

文章を間違えただけなら、人間が送信前に修正できますが、送信権限まで持たせてしまえば、AIの判断がそのまま外部への行動につながってしまいます。

社内システムへの接続でも同じで、限られたデータだけを閲覧できるAIと、全社のデータや外部サービスまで操作できるAIでは、誤作動した場合の影響範囲がまったく違います。

重要なのは、AIの能力が高いこと自体を危険視することではなく、高い能力と広い実行権限が組み合わさるほど、判断を誤ったときの影響が大きくなるということ。

モデルの外側に四つの制御を置く

行動できる範囲がリスクを左右するなら、安全対策もモデル内部の調整だけでは完結せず、必要になるのが、モデルの外側に置く「ブレーキ」。

一つ目は権限の制限で、AIが接続できるシステムや実行できる操作を限定しておけば、誤った判断をしても影響が無制限に広がることを防ぎやすくなります。

二つ目は実行環境で、AIが自由に外部へアクセスできる状態ではなく、行動できる範囲そのものを区切ります。

権限と実行環境は「AIがどこまで動けるか」を決める仕組みと言えます。

そして、そこに監視と停止機構を加え、AIが実際に何をしたのか記録し、想定外の行動があれば人間が介入するようにし、必要なら処理そのものを止められる状態にしておきます。

モデル内部の安全対策との違いはここにあり、危険な操作をしないようAIを調整する方法は、最終的にはモデルの判断に依存します。

一方、権限や実行環境をシステム側で制限すれば、モデルが誤った判断をしても、その外側で行動を制限できます。

どちらか一方を選ぶというものでもなく、モデル内部の安全対策に加え、権限、実行環境、監視、停止機構を重ねるという設計が必須となってきます。

AI選びでは「何をさせないか」も見る

企業がAIエージェントを導入するときも、性能や回答精度だけでは比較できなくなってきます。

どのシステムへ接続できるのか、どの操作まで自動実行できるのか、重要な操作に人間の承認を挟めるのか。

さらに、行動履歴を確認できるか、問題が起きたときに強制停止できるかも確認項目になります。

これは初期の頃の「最も賢いAIを選べばいい」という考え方とは違い、能力が高くても、必要以上の権限を与えればリスクは増えてしまうだけ。

一方で、権限を限定し、人間による承認や監視を挟めば、誤った判断が外部へ及ぶ範囲を狭められます。

AIへ仕事を任せることは、同時に何らかの権限を渡すことでもあり、だからこそAIエージェントを選ぶときは「何ができるか」だけではなく、「何をさせない設計になっているか」まで確認する必要があります。

Anthropicが、Claudeの生成物に機械で読める印を付けるようです。

テキストには見えない電子透かし、画像などにはC2PAの来歴情報を付与するようで、対象はEUだけではなく、対応モデルが使える地域へ広く適用されるようです。

重要なのは、AI文章を完全に見破れる点ではなく「AIが関与した証拠を残す」という設計が、Claude側に組み込まれるということ。

Claudeを通した文章にも透かしが残る

対象は、Claudeがゼロから書いた文章だけではないようで、人間が書いた文章を校正し、翻訳や要約だけをClaudeに任せるというような使い方でも、出力結果には透かしが残る場合があるそうです。

透かしは文章中の単語選択などに埋め込まれるようで人間が読んでも基本的には分からないようですが、機械は特徴を検出することができるようで、コピーや軽い編集をしても、条件によっては残るのだとか。

ここは従来のAI検出ツールと分けて考える必要があって、AI検出ツールは文章からAI利用を「推定」するのですが、Claudeの透かしは、生成時に痕跡を「埋め込む」仕組みとなり、対象もWeb版Claudeだけではなく、Claude PlatformのAPIやClaude Codeなどにも含まれます。

AWSやGoogle Cloudなどを経由する対応モデルも対象。

つまり企業がAPI経由でClaudeを使う場合も無関係ではなくなります。

画像はC2PAで「どこから来たか」を残す

画像などでは別の方法が使われるようで、.svg、.png、.jpgなどのファイルには、C2PA形式の署名付きメタデータが付与されます。

C2PAはコンテンツの来歴を記録する規格であり、対応ツールを使えば、生成や編集に使われたシステムなどを確認することができ、テキスト透かしとの違いは保存方法で、C2PAの情報は、ファイル操作によって消える場合があり、

• 形式を変換する
• 画像を再保存する
• スクリーンショットを撮る

こうした操作では、元のメタデータを引き継げない場合があります。

そのためC2PAが見つからなくても、人間が作った画像とは断定できませんし、これはテキスト透かしにも共通する注意点で「検出できた」はAI関与の材料になりますが「検出できない」からといって、人間だけで作った証明にはなりません。

これ、意味あるんですかね？

EUのルールがClaudeの世界標準になる

今回の変更にはEU AI法があります。

AI生成・加工コンテンツに関する透明性義務は、2026年8月2日から適用が始まり、生成AIの提供者には、AIが関与したコンテンツを機械で識別できる仕組みなどが求められ、Anthropicも、この要件に対応する方針となっています。

ただし実装をEU内だけに限定しないようで、対応モデルが提供される地域では、同じ仕組みを広く適用するため、企業側には分かりやすい設計となっています。

EU向けと日本向けでClaudeの出力仕様を分けるより、同じモデルを同じルールで扱えたほうがいいですからね。

一方で、AI利用を社内だけの問題として扱うのは難しくなり、たとえば企業がClaudeで文章を校正した場合、人間が原稿を書いていても、最終出力にはAI処理の痕跡が残る可能性があります。

「AIが書いたか」だけでは判断できず「AIをどの工程で使ったか」まで決めておく必要が出てくるでしょうね。

透かしは「AI判定機」ではない

ここを誤解すると、使い方を間違えてしまいまs。Claudeの透かしは、万能なAI判定機ではありませんし、透かしがあっても、文章全体をClaudeが書いたとは限りません。

そして、これは逆も同じ。

• 文章を大幅に書き換える
• 別の文章と混ぜる
• 翻訳を重ねる

こうした処理で透かしが弱まる可能性はありますし、短い文章では、判定材料そのものが足りない場合も出てくるでしょう。

C2PAも同様で、メタデータが残っていれば来歴を確認できるとはいえ、消えていれば、それ以上のことは証明できません。

だから企業が見るべきなのは、透かしの有無だけではなく、

• 社内でAIを使える工程を決める
• 人間による確認範囲を決める
• 外部公開時の表示ルールを決める

この3つと組み合わせて初めて、実務で使える仕組みになります。

Claudeの変更で明確になったのは、AI利用を完全に隠すか、完全に見破るかという話ではなく、生成物そのものに「AIが関与した履歴」を持たせる方向へ、サービス側の設計が変わったことです。

Claudeを業務利用している企業は、まず自社の文章が「生成」「校正」「翻訳」のどこでClaudeを通っているかを確認すべきです。

とはいえ、こんなことで技術の進歩を遅らせることになりませんかね？

こんな中途半端なことするなら、あまり意味ないと思うんですけどね。

まぁ、これというのもEUがおバカなこと言い出すから、仕方のないことなのかもしれませんが・・・。

ただのいちゃもんですからね、EUは・・・。

中国のMoonshot AIが発表した「Kimi K3」は、AIモデルの選び方を変える可能性があります。

見るべき点は、ベンチマークの順位だけではなく、安価な中国製オープンモデルが、アメリカ製の商用モデルに迫ってきたことです。

ですので、企業は今後、性能だけでなく、提供国や規制、乗り換えやすさまで含めてモデルを選ぶ必要があります。

2.8兆パラメータより「公開方法」が重要

Kimi K3は、2.8兆パラメータを持つMoE型モデルで、Moonshot AIは、100万トークンの長文処理と、画像を扱う機能を掲げています。

2026年7月27日までに、モデルのウェイトを公開する方針となっているようですが、AIの性能はパラメータ数の大きさだけで決まらないことも頭にいれておきましょう。

というのも、実際の処理では、すべてのパラメータを同時に使わない設計もありますから、企業側にとって重要なのは、モデルを取得し、自社環境で調整できるかどうかでもあります。

OpenAIやAnthropicの商用モデルは、基本的にAPI経由で使うことになり、利用開始は簡単ですが、モデル内部は公開されません。

一方、オープンウェイト型は運用の自由度が高い設計なのですが、代わり、サーバー費用や保守、安全対策を自社で負担しなければなりません。

つまり「無料公開」と「安く運用できる」は同じ意味ではないんです。

しかも、Kimi K3ほど大規模なモデルでは、導入できる企業も限られてくるでしょうし。

Claude超えは限定された結果として見る

Kimi K3は、ArenaのFrontend Code Arenaで1679点を記録しており、AnthropicのClaude Fable 5は1631点でした。

人間による比較評価でも、Kimi K3が首位に立っていることを考えると、大きな結果のようにも見えるのですが、だからといって「すべての能力でClaudeを超えた」とは言えきれないことも・・・。

というのも、Frontend Code Arenaが測るのは、主にウェブ画面を作る能力であり、業務文書、法務判断、調査、長期的なエージェント処理まで保証する順位ではありません。

ですので、ベンチマークは、用途を限定して比較すべきで、ウェブ制作企業には、直接的な判断材料になるとはいえ、社内検索や顧客対応に使う企業であれば、別の検証が必要となります。

中国製オープンモデルは地政学と切り離せない

Kimi K3の発表と同じ2026年7月16日、29カ国が上海で「世界AI協力機構」の設立協定に署名しました。

本部は上海に置かれる予定で、モデル公開と国際組織の設立は同じ出来事ではないのですが、中国がAIモデルと国際ルールの両面で影響力を広げる構図は明確です。

アメリカが、高性能半導体やAI技術への輸出規制を進めている中、中国側では、AIモデルや学習データの国外提供を制限する案も報じられています。

つまり、今日取得できるモデルが、将来も同じ条件で使えるとは限らず、価格が安いという理由だけで採用すると、規制変更時の移行費用が膨らんでくる可能性もあります。

とはいえ、これは中国モデルだけでなく、アメリカ製モデルにも同じことが言えますし、その他の国にも当てはまること。

API終了や料金改定、利用規約の変更は、国籍に関係なく起こります。

日本企業はモデルを一社に固定しない

日本企業が取るべき方針は、単一モデルへの全面移行ではなく、用途ごとに複数モデルを使い分ける設計がリスクヘッジとなります。

機密情報は、自社環境で動かせるモデルに寄せ、最新性能が必要な業務は、商用APIを使う。

定型処理は、小型で安価なモデルへ分けるなどの形であれば、一社の値上げや提供停止にも柔軟に対応できるでしょうから、導入前には、少なくとも次の点を確認すべきです。

• 入出力データが保存される地域
• 学習データへの再利用条件
• モデル変更時の移行工数
• 自社環境で動かす場合の総費用
• 日本法と業界規制への対応