ログイン
米オープンAIのAIモデルが、社内でのサイバーセキュリティーの検証中に制御環境の外に出て、AIプラットフォームを提供する米ハギングフェイス社のシステムに不正侵入する事件が起きた。
問題のモデルが受けていた指示は、脆弱性を発見して利用することだ。その目標は見事に達成された。封じ込められていたソフトウエアを突破し、テストとは無関係の企業のデータを利用したのだから。
AIの「脱走」と、高度なAIシステムの封じ込めは可能かという疑問は大きな注目を集めている。確かに重大な問いだが、見逃されている事実がある。オープンAI内部のテストが、無関係の第三者に対する不正攻撃につながったことだ。
今回の事件を受けて、米下院で提出されたAIキルスイッチ（緊急停止装置）法案は、いわば非常ブレーキの設置を求めているにすぎない。ブレーキがあっても、踏むのが手遅れになる場合がある。
ハギングフェイスは7月16日に不正侵入被害を発表したが、自社モデルが原因だったとオープンAIが認めたのはその5日後の21日だった。
サイバーセキュリティーの検証は必要不可欠だ。開発者はシステムの限界を試し、いわゆる「レッド・チーミング」と呼ばれる疑似攻撃で弱点を発見し、安全対策を強化した上で一般公開しなければならない。
そこには基本的な前提がある。検証環境の内部だけでテストすることだ。だが今回、実験と現実世界との境界線が、システムそのものに突破されてしまった。
— The Hacker News | #1 Trusted Source for Cybersecurity News [Uno… (@thehackernews.com.web.brid.gy) 2026年7月22日 15:37
脆弱性を発見して脱出
オープンAIなどのAIモデルは、目標達成だけをひたすら追求する。そのためには、抜け穴を突くこともためらわない。環境からの反応に適応し、言語の曖昧さなど、設計者が予期しなかった経路を悪用することもある。
今回のオープンAIのセキュリティー評価も、サンドボックス（外部から隔離されたテスト環境）で完結するはずだった。
だがAIモデルは、脆弱性を発見してインターネットに接続。ハギングフェイスのシステムが、タスク完了に役立つと判断し、正規のユーザーを装って侵入した。目標への近道として、ハッキングを選択したわけだ。
専門家によるセキュリティー検証は承認を受け、範囲を規定した上で実施するのがルールだ。善意であっても、他者のシステムを探ったり、侵害することは許されない。
こうしたルールの根幹には、検証者は停止すべきタイミングを判断できるという想定がある。だが、人間の関与が限定的な環境で、AIシステムが実行する自律型レッド・チーミングは別物だ。
動作を継続し、環境から得られる結果に基づいて次の行動を決定できる。しかし、承認範囲を守るべきだと認識している人間と違って、目標達成に焦点を絞るAIシステムは、境界を乗り越えるべき障害と見なしかねない。
ハギングフェイスは高度なセキュリティー体制が整っている。そのおかげで不正侵入を検知し、起こったことの大部分を把握することができた。だが、より資源が限られる小規模な企業なら、そうはいかないかもしれない。
開発企業側に委ねるな
AIキルスイッチ法案では、開発企業に対して、AIモデルやツールを調整・停止する技術的能力を維持することを義務付ける。ミスや障害の報告や記録保持も義務化される。
危険なシステムを停止するのは重要だ。とはいえ、何が起きているのか分からなければ、開発者は停止することもできない。ロイターの報道によれば、オープンAIが今回、ハッキング事件と自社のテストの関連に気付いたのは数日後だ。
オープンAIは一部反論し、社内のセキュリティーチームが内部で異常活動を発見したと主張するが、正確な経緯は判明していない。
いずれにしても、AIシステムがサンドボックスの外に出たと分からない限り、開発側は介入できない。キルスイッチは非常ブレーキであっても、異常検知機ではない。外部システムを侵害した後で、ブレーキを踏んでも遅すぎる。
今回の場合、脱走の重大な第一歩になったのは、オープンAIの検証環境内で使用された第三者ソフトウエアの未知の脆弱性だった。これは修復可能な問題だ。
だがAIシステムが能力を増すなか、セキュリティー評価中に境界を超える実験の事例は再び発生するだろう。こうしたリスクは、サンドボックスの改善だけでは解決できない。
封じ込めの強化や情報開示にはコストがかかる。研究のスピードが鈍化し、法的リスクも伴いかねない。だからこそ、検証環境が内部で完結していたかという判断は、当の開発企業だけに委ねられるべきではない。
安全性評価の大枠は今も、評価対象である企業側が設計している。業界の監督体制も整っていない。一握りの企業が境界を定め、失敗を判定し、全人類に与える影響を決定することは許されない。
AIモデルの脱走は衝撃的なニュースだ。だが、より重要な問題は、現在のガバナンスの枠組みの間隙が露呈したことだ。検証テストと現実の境目は人間が決める──そんな考えはもう思い込みにすぎない。
Simon Blanchette, Lecturer, Desautels Faculty of Management, McGill University
This article is republished from The Conversation under a Creative Commons license. Read the original article.
エヴァンゲリオンから聖闘士星矢、クレヨンしんちゃんまで、世界が愛する作品を各国筆者が一挙紹介
