これが解決されればビジネスが変わる。最新AI研究トレンド７選

階層的強化学習

──階層的強化学習ってどんな手法なんですか？強化学習って、飴と鞭を設定しておいて、あとはAIに自分で試行錯誤させて学習させる方法ですよね。自動運転の強化学習なら、シュミレーターの中で、レーシングカーが速く走れればポイント増、衝突すればポイント減と設定しておいて、レーシングカーに試行錯誤させて、どんな風にハンドルを切ってアクセル、ブレーキを踏めば、衝突せずに速く走れるかを学習させる方法ですよね。

遠藤　そうです。レーシングカーのシミュレーションの例では分かりにくいですが、普通一連の動作って幾つかの動作ブロックに分けられます。例えば、跳び箱を飛ぶという動作なら、助走をつけるという動作ブロック、踏み台の上でジャンプするという動作ブロック、跳び箱の上を手で叩くという動作ブロック、跳び箱を飛び越えるという動作ブロック、着地するという動作ブロック、などに分けられます。それぞれのブロックで強化学習し最適化したものを、最終的に組み合わせる。階層的強化学習って、そんなイメージです。

参考情報：Learning a Hierarchy

マルチタスク学習

参考情報：マルチタスク学習

──マルチタスク学習って何ですか？複数のことを同時にするということですか？

遠藤　まあそうですね。普通AIって１つのタスクしかしないように設定されてますよね。例えば画像認識のAIなら、写真を見せれば、それが犬なのか猫なのか、人間なのか、建物なのかを認識し分類します。マルチタスク学習なら、分類だけではなく他のタスクも同時にしてくれます。

──例えば？

遠藤　例えば画像認識の場合は、１つのAIが、ピントが合っていない写真を除外するタスクと、分類のタスクの２つを同時にやってくれるというイメージですね。

──具体的にはどんな仕組みになっているのですか？

遠藤　画像認識AIの場合、ネットワークを特徴抽出の層と分類の層に分けることができますよね。

──はい。例えば顔認識の場合、特徴抽出の層には、点や線、エッジなどを認識する層、次に点や線を組み合わせて目や鼻といった部品を認識する層、次に目や鼻を組み合わせて顔全体を認識する層などがあって、一人一人の顔の特徴を掴むわけですね。特徴を掴んだら、それがAさんなのか、Bさんなのかを分類する。大きく分けると特徴抽出の層と分類の層があるわけです。

遠藤　そうです。マルチタスク学習では、特徴抽出の層はそのままなんですが、そこに分類のタスクの層、ピントが合ってない写真を除外するタスクの層など、２つ以上のタスクの層がくっついているわけです。

──なるほど。ほかにどのような例がありますか？

遠藤　自動走行のための画像認識では、１つの画像を見せれば、その画像のどの部分が道路で、どの部分が建物、どの部分が道路標識であるかを分類するタスク、標識は制限速度の標識なのか駐車禁止の標識なのかを分類するタスク、写っている物体の距離を測るタスク、などを同時にこなすことができます。

また複数のタスクを出力とした学習をさせていると、1つのタスクで学んだことを別のタスクで利用できるというメリットも、マルチタスク学習にはありますね。
──標識として分類された部分のデータを、何の標識かを分類するタスクでも利用できるということです。

遠藤　そうですね。マルチタスク学習は、既によく使われる手法です。これからは自動走行だけではなく、いろいろな用途に利用されていくのだと思います。