[４日 ロイター] - 人工知能（ＡＩ）開発企業の米アンソロピックは４日、先進的なＡＩシステムが社会のリスク管理能力を超える速さで「自己改良」を始める場合に備え、ＡＩ開発企業は協調的かつ検証可能な形で開発を減速、または一時停止する仕組みを構築すべきだと表明した。
自らを構築できるＡＩはテクノロジー史における大きな進展となるが、「完全に再帰的な自己改良は、人間がＡＩシステムに対する制御を失うリスクを高める可能性もある」と同社は指摘。「システムが自身の後継機（システム）を完全に構築できるようになれば、それを安全に管理し、監視し、その挙動を方向付ける方法の全てが一段と重要になる」と訴えた。
具体例として、５月時点でアンソロピックのコードベースに統合されたコードの８０％超はＡＩモデル「クロード」が書いたものだったと明かした。
その上で「社会の制度や（ＡＩの目標を人間の価値観と整合させる）アラインメント研究が技術の進歩に追いつけるよう、最先端ＡＩ開発を減速もしくは一時停止する選択肢を世界が持つことは望ましい」との見解を示した。
実効性のある一時停止には、技術の最前線にある「複数の資金力ある研究機関」の合意に加え、どのような条件で停止が発動・解除されるのか、誰が監督するのかについてのルールが必要だと強調した。
