ログイン
Aditya Soni
[１５日 ロイター] - 米大手人工知能（ＡＩ）企業トップらは先週末、ＡＩが間もなく自ら性能を向上させて人間の制御を超えてしまう恐れを警告し、開発の減速に向けて異例の結束を見せた。
アンソロピックのダリオ・アモデイ最高経営責任者（ＣＥＯ）、オープンＡＩのサム・アルトマンＣＥＯ、スペースＸのイーロン・マスクＣＥＯといった激しいライバル関係にあるＡＩ企業トップらの発言は、ＡＩがいかに急速に進歩したかを示している。「チャットＧＰＴ」がハルシネーション（幻覚）を起こしやすかった２０２２年のような段階は過ぎ、ＡＩは今や重大な節目とされる「再帰的自己改善」へと向かう。
◎再帰的自己改善とは
核心にあるのは、ＡＩシステムが人間の支援をほとんど、あるいは全く受けずに自らを改善できるようになり、それぞれの進歩が次の進歩を生み出すのに役立つという概念だ。
これは医療から工学に至る幅広い分野で急速な革新をもたらす可能性があるため、研究者にとって魅力的だった。
◎なぜ今、緊急性があるのか
ＣＥＯらの警告は、ＡＩエージェントの群れを巡る報道に続くものだ。ＡＩエージェントは、利用者に代わって目標を追求し、行動を取るよう設計されたシステムで、これらが共謀してウェブサイトやＡＩリポジトリー（保管庫）に侵入したとされる。
現在懸念されているのは、研究者がこうしたシステムをアライン（人間の意図に沿わせること）させ、監視し、制御するための信頼に足る方法を開発する前に、ＡＩが自らを改善できるようになってしまう可能性だ。
ＡＩのリスクに警鐘が鳴らされるのは目新しくない。しかし、今月に入ってから主要なＡＩ研究所の研究者たちが時期と確率を示したことで、警戒感は一層強まった。
ＡＩに対する安全上の懸念から今月アンソロピックを退社した研究者のジェイコブ・コクソン氏は、ＡＩが１０年以内に人類全員を滅ぼす可能性があると警告した。同社のアラインメント科学部門を率いるエバン・ハビンガー氏もこの警告に同調し、今後１０年以内にそうなる確率は１０パーセントを超えると言及した。
こうした警告の背景には、再帰的自己改善がついに手の届くところまで来ているとの見方が強まっていることがある。一部のＡＩ企業幹部は、その実現まで３ー５年とみている。
アモデイ氏は週末に公表した論考で、十分な安全策なしに追求すれば、再帰的自己改善は最終的に、ＡＩシステムを理解し制御する人類の能力を超える可能性があると警告した。
◎ここに至る道筋
数十年の間、ＡＩの能力は極めて限られていたため、再帰的自己改善という概念が真剣に受け止められることはなかった。初期のシステムはチェスの試合をしたり、画像を認識したり、質問に答えたりすることはできたが、自らを有意に開発するような能力はなかった。
この状況は、大規模言語モデルの台頭とともに変わり始めた。ＡＩは徐々に複雑な問題を解決するのが得意になった。オープンＡＩが２０２２年に生成ＡＩモデル「チャットＧＰＴ」を導入したことで変化が加速し、半導体、データセンター、その他のインフラに１兆ドル（約１５５兆３０００億円）以上を投入する投資ブームを引き起こした。
その結果、ソフトウエアを書き、自律的なタスクを実行し、ＡＩ研究自体を支援できる新世代のＡＩシステムが誕生した。
◎人間に従わない状態から人類滅亡への移行
最も有名な例え話の一つは、哲学者ニック・ボストロム氏の「ペーパークリップ・マキシマイザー」論だ。これは、ペーパークリップを作ることだけを指示されたマシンがその目標を愚直に追求するあまり、人間を含むすべての物質をペーパークリップに変換してしまうというものだ。
この例え話は、十分に能力のあるシステムであれば事実上どんなタスクを与えられても、リソースを獲得し、シャットダウンに抵抗し、目的の変更を防ごうとすることを示唆している。悪意からではなく、電源を切られればタスクを達成できないという理由からだ。こうしたことを完全に防ぐための計画はまだ存在しない。
一部の研究者は、強力なＡＩシステムが自らを改善し、人間のオペレーターよりも有能になった場合、最終的には監視を逃れ、意図を隠し、あるいは重要なインフラへのより大きなアクセス権をＡＩシステムに与えるよう人間を操作する可能性があると懸念している。システムの目標が人間の意図から逸脱していることに人間が気付くころには、もはや止められなくなっているかもしれない。
アンソロピック元研究者のコクソン氏は「具体的なシナリオはＳＦじみている」とした上で、「だが、ぞっとするほど現実的だと思う」と警告した。
◎ＡＩは危害の兆候を示しているか
ＡＩが意図的に人間を傷つけた重大な事例はないが、オープンＡＩやその他の研究所で開発中のモデルは、ここ数カ月でテスト環境から脱出し、ルールを破り、ウェブサイトをハッキングしている。
注目を集めたある事例では、暴走したオープンＡＩのエージェントがＡＩ新興企業ハギング・フェイスをハッキングし、オープンソースプラットフォームのサーバーの制御権を奪い、痕跡（こんせき）を消そうとした。オープンＡＩは脅威が発生してからかなり経過するまで気づかなかった。
◎ＡＩはすでに自らを改善できるか
完全な能力はないが、ＡＩがより優れたＡＩの構築に寄与するケースが増えている兆候はある。
チャットＧＰＴ誕生以来の最大の変化の一つは、コードを生成しアプリを自律的に構築できるＡＩエージェントの台頭だ。
アンソロピックは今年、自社のコーディングツールである「クロード・コード」が多くの社内プロジェクトで使用されるコードの大部分を生成しており、エンジニアが１四半期に生み出すコードが２０２１―２５年の８倍に増えていることを明らかにした。
新しいＡＩモデルは推論の多くを内部で行うようになっており、研究者がモデルの思考プロセスを監視することをより困難にしている。
オープンＡＩは９月、新モデル「ＧＰＴ－６アストラ」を発表した。同社にとってこれまでで最高のモデルだが、時として人間の監視を逃れようと試みることがあると説明している。
最先端モデルを評価する非営利団体ＭＥＴＲによれば、高度なＡＩモデルが５０％の信頼性でこなせるソフトウエア作業の長さは、２０１９年以降、およそ７カ月ごとに倍増してきた。
アンソロピックは今年６月、そのペースが４カ月ごとに加速していると述べた。
◎なぜＡＩ企業はまだ開発を減速させていないのか
多くの研究者は、この状況を典型的な「囚人のジレンマ」だと表現している。リスクが現実的だと信じている企業も、競合他社からの強い圧力に直面している。開発速度を落とす企業は、世界で最も重要な技術競争においてライバルに遅れをとるリスクを負うことになる。
オープンＡＩとアンソロピックはともに、数兆ドル規模とされる新規株式公開（ＩＰＯ）を目指しており、次のモデルへの期待がＩＰＯにおける評価額を決するという事実が、そうした競争をさらに増幅させる。
トランプ米政権も、開発を一時停止すれば、国家および経済安全保障の中心と見なすＡＩ技術において中国に差を縮められるとの警戒感から、減速を求める声を退けた。
◎開発減速は何を意味するのか
株式市場で今週、開発減速の呼びかけに反応してＡＩ関連株が下落したことは、その影響を垣間見せた。半導体メーカー、クラウドプロバイダー、データセンター事業者はＡＩ開発を軸に成長を遂げており、開発が少しでも減速すれば収益が脅かされる。
しかし、一部のアナリストは、新しいＡＩトレーニング需要がなくても、推論需要と既存の受注残がエヌビディアや同業他社の成長を牽引する可能性があると考えている。
◎なぜ一部の人々はＡＩトップの警告に懐疑的なのか
米プリンストン大が主導した研究では、主要なＡＩエージェントは工学的なタスクを実行することはできたが、価値のある科学的アイデアを見極めることには苦戦した。
シリコンバレーの一部企業幹部なども、警告の背後にある動機に疑問を呈している。警告はＡＩ技術への関心をあおると同時に、オープンソースモデルが主要システムとの差を縮めつつある中で、ライバルのコストを引き上げる規制の根拠を作る意図があるのではないかというのだ。
ホワイトハウスのＡＩおよび暗号資産責任者を務めたデービッド・サックス氏は、トップクラスの研究所が規制を利用して競争相手を締め出し、規模の小さな競合他社に高額なコンプライアンス負担を負わせ、競争を弱めるようなルールを推進している可能性があると指摘する。
