＜便利さの代償は、「決めたのは誰か」が見えなくなることだ。任せたはずのAIが別のAIと勝手に動き、気づけば自分の選択に口を挟めない世界が始まる──＞
生成AIはこの1年で新しい段階に進んでいる。AIエージェントの台頭だ。
AIエージェントとは、人間が指示を直接入力しなくても、私たちの代わりに意思決定を下して行動する自律したシステムである。契約交渉や資産管理、旅行の手配など複雑な作業をAIエージェントに委ねることにより、私たちの仕事と日常生活が再定義されようとしている。
米ソフトウエア企業セールスフォースのマーク・ベニオフCEO（最高経営責任者）は2024年に、1年以内に10億のAIエージェントの展開を目指すと語った。メタのマーク・ザッカーバーグCEOは、AIエージェントの数が将来的に世界の人口を上回るだろうと予測している。
企業がAIエージェントの導入を競うなか、その長期的な帰結をめぐる議論の重要性が高まっている。私たちは今、生活の基盤そのものを変える力を持つ技術的フロンティアの入り口に立っているのだ。
現在の生成AIは、プロンプトなど利用者による入力に反応する。これに対しAIエージェントは、広い設定の範囲内で自律的に行動する。前例のない自由度で動作しながら、交渉し、微妙な判断を下し、他のシステムとの複雑な相互作用を調整するのだ。
これはチャットGPTとやりとりするような命令と応答の関係をはるかに超えている。
例として、個人向けの「AIファイナンシャルアドバイザー」を使って生命保険を購入する場面を考えてみよう。
AIエージェントはあなたの財務状況、健康データ、家族のニーズを分析しながら、同時に複数の保険会社のAIエージェントと交渉する。医療記録のシステムや支払いを処理する銀行のシステムなど、他のAIシステムとも連携する。
ただし、交渉の過程で保険会社側のAIエージェントに出し抜かれ、保険料が高くなるかもしれない。また、医療情報や財務情報が複数のシステムを行き来することから、プライバシーに関する懸念も生じる。
こうした相互作用の複雑さは、不透明な意思決定をもたらし得る。最終的な保険契約の提案に、さまざまなAIエージェントがどう影響したのかを追跡することは困難だろう。システムにエラーが発生した際に責任の所在を特定することも難しい。
そして、おそらく最も重大なのは、人間の主体性を弱めるという危険性だ。AI同士のやりとりが人間には理解も制御もできないほど複雑になれば、自分の保険契約に介入することさえ難しくなる。
数十億の代理人が稼働する
完全自律型の保険AIエージェントは実用化に近づいており、ほかにも高度なエージェントが次々に登場している。セールスフォースは「エージェントフォース」を、マイクロソフトは「コーパイロット・アクションズ」を企業向け製品に組み込んでいる。
個人向けではグーグルがAIの最新モデル「ジェミニ2.0」をAIエージェントへと発展させ、オープンAIは昨年1月に「オペレーター」を公開した。
数十億のAIエージェントが稼働する時代は、深刻な倫理的および実務的課題を投げ掛けている。
AIエージェントを開発する競合企業は、それぞれ異なる技術的アーキテクチャ、倫理的枠組み、ビジネス上のインセンティブを持つ。プライバシーを優先するところもあれば、速度と効率を重視するところもある。
さらに、AIエージェントは国境を越えて相互作用するが、国や地域が変わればAIの自律性、データプライバシー、消費者保護を規制するルールは大きく異なる。
その結果、相反するルールや基準の下でAIエージェントが動作するという断片化された環境が生まれる可能性がある。例えば、利益最大化と環境の持続可能性のようにそれぞれ異なる目的で最適化されたAIエージェントが、自動交渉で衝突したらどうなるか。
あるいは、西洋の倫理的枠組みで訓練されたエージェントの意思決定が、設計時に考慮されていない文化的背景の利用者に影響を及ぼすかもしれない。
システムを使う側の主体性
こうした複雑なAIエージェントのエコシステムは、ガバナンス、説明責任、人間の主体性の維持について新しいアプローチを要求する。
国際機関と各国政府は、AIエージェントの相互作用の越境性を踏まえ、調和の取れた規制の枠組みを構築しなければならない。特に透明性と説明責任の基準が重要になる。
テクノロジー企業は、開発の初期段階から安全性と倫理的配慮を優先するだけでなく、AIエージェントが人間の価値観と整合性を保ち続けるようにしなければならない。
エージェント同士の通信の標準化プロトコルを整備することも重要だ。エージェント間の衝突は、利用者の利益を保護する方法で解決する。
一方、AIエージェントを導入する組織は、包括的な監視体制が必要になる。重要な意思決定には引き続き人間が関与し、そのプロセスを明確に定義する。また、結果を体系的に評価して、エージェントが本来の目的に沿っているかを確認する。
私たち消費者は、AIエージェントのシステムの仕組みや共有されるデータ、意思決定プロセスについて明確な説明を求めなければならない。自律性の限界を理解し、必要に応じてエージェントの判断を上書きする能力も必要だ。
AIエージェントの世界へと移行するなかで、人間の主体性を手放してはならない。この強力なテクノロジーが人類の利益に資するように、その世界の姿を今こそ私たちが積極的に形作る時だ。
Uri Gal, Professor in Business Information Systems, University of Sydney
This article is republished from The Conversation under a Creative Commons license. Read the original article.
【関連記事】
ディープフェイクを超えた「AI汚染」の脅威──中国発「スロパガンダ」の正体
あなたの隣に「軍事用ヒト型ロボット」が来る日
やっぱりパクってた？ 中国AI企業が米AI「クロード」を「不正利用」し、モデル改良
米・イラン戦争で変わる地域紛争の「大前提」／石油危機を恐れるべき理由
