ログイン
Eduardo Baptista
[北京 ３１日 ロイター] - 強力な人工知能（ＡＩ）モデルを、より低コストで効率的なシステムへと小型化、軽量化できる技術が、ＡＩの覇権を巡って激化している米中の競争で新たな争点となっている。
ＡＩモデルの「ディスティレーション（蒸留）」として知られるこの手法は、高性能ＡＩシステムの出力結果を利用して、より小規模なモデルを訓練し、少ない計算資源で同様のタスクを実行できるようにするものだ。
長らくＡＩ研究の標準的な手法と見なされてきた蒸留技術は現在、高度なＡＩを開発した企業の同意なく、そのＡＩ能力を移転できるのかという問題を巡る論争の中心となっている。
米政府および米主要ＡＩ企業は、中国の競合企業が蒸留技術を使い、米企業が独自に開発したＡＩモデルから能力を抽出していると非難しており、技術的主導権を巡ってますます激化している競争は新たな局面を迎えている。
この議論の中心となっている問題に関する重要なポイントは以下の通り。
＜モデル蒸留とは＞
最先端の大規模ＡＩモデルは「フロンティアモデル」と呼ばれ、その訓練には膨大な計算能力、データ、投資が必要となる。
モデル蒸留は、大規模な「教師モデル」を利用して、より小規模な「生徒モデル」を訓練することで、より小さなシステムを構築する手法。
教師モデルは回答やコンピューターコードなどのサンプルを生成し、それらが生徒モデルの学習教材として利用される。
こうして構築された小規模モデルは教師モデルの単なる複製ではない。教師モデルの重み、アーキテクチャー、完全な能力をそのまま継承するわけではない。その代わりに、特定のタスクをより効率的に実行するために必要な、選ばれた処理方法を学習する。
＜なぜ蒸留が重要か＞
蒸留が注目される理由は、ＡＩをより低いコストで構築し、より容易に導入できるようになるからだ。
フロンティアモデルを運用するには、大規模なデータセンターや高価な半導体が必要になる場合がある。一方、蒸留モデルはより性能の低いハードウェアでも動作し、特定の用途向けに最適化することが可能である。
そのため、デバイス、工場、自動車、専用ネットワークなど、さまざまな分野でＡＩの利用拡大を目指す企業や政府にとって蒸留は魅力的な選択肢となっている。
＜なぜ推論トレースが重要か＞
最近のＡＩシステムでは、最終的な回答だけでなく、そこに至るまでの段階的な思考プロセスを他のモデルへ移転することへの関心が高まっている。
こうした「推論トレース」は、小規模モデルに対して、単に回答を教えるのではなく、難しい問題にどのように取り組むべきかを示すことができる。
機械学習セキュリティーを研究するチューリヒ工科大のフロリアン・トラメール准教授は、このプロセスを人間の学習に例えて次のように説明している。
トラメール氏は「もし私があなたに、最終解答だけが載っている難しい数学の問題集を渡したなら、解答までのすべての手順が説明された詳細な解説を渡した場合と比べ、問題の解き方を学ぶのはずっと難しくなるだろう」と話す。
推論トレースの価値が高まるのに伴い、ＡＩの出力へのアクセスも、より慎重な取り扱いを要する問題となっている。その理由は、ＡＩの出力には、高度なＡＩシステムが複雑な問題を解決する際に用いる手法の一部が含まれている可能性があるからだ。
＜誰が蒸留を利用しているか＞
蒸留はＡＩの訓練において広く使われている技術であり、それ自体が不適切な行為というわけではない。
米国の研究者や企業は長い間この手法を利用しており、一例としてスタンフォード大の「アルパカ・プロジェクト」やマイクロソフトの「Ｏｒｃａ研究」がある。これらはいずれも、より高度なモデルの出力を利用し、小規模モデルの性能向上を図っている。
中国の研究者もまた、中国語指示モデルの開発などを含む公開研究プロジェクトにおいて、米国のモデルの出力を活用してきた。
重要な違いはアクセス権にある。オープンウェイトモデルでは、研究者が基盤となるパラメータを調査したり変更したりできる。一方、オープンＡＩの「チャットＧＰＴ」やアンソロピックの「クロード」のようなクローズドモデルは企業の管理下に置かれ、通常は専用インターフェースやＡＰＩを通じてのみ利用できる。
＜なぜ蒸留が米中問題になっているのか＞
論争の焦点は蒸留技術そのものではなく、開発した企業の許可なく能力を抽出することにある。
ＡＩ企業は、正当な研究活動と、商業的価値の高い能力を再現するために独自モデルの出力を組織的に収集する行為との間には、本質的な違いがあると主張している。
アンソロピックは、中国企業や中国系組織であるディープシーク、ムーンショット、ミニマックスが、クロードモデルから能力を取得するための大規模な活動を展開したと非難している。
アンソロピックによれば、それらの活動はソフトウェアエンジニアリングや高度な推論能力などの獲得を目的としていたという。
オープンＡＩもまた、中国の関係者による、蒸留に関連した目的で自社モデルを利用しようとする試みを検知したと表明している。
一方、これまでのところ中国企業が米国企業によるクローズドソースモデルの蒸留を非難した事例は報告されていない。
