あるAIの歌 10年前に他界した妻の歌声と写真を再現する理由──第一回AIアートグランプリ受賞

持っている映像を全てデジタル化し尽くして......

たまたまその当時に公開された技術でそれが可能だと考え、やってみました。それでできたのが、荒井由実（松任谷由実）の「ひこうき雲」のカバー曲です。

その年の9月、妻のために大学の軽音サークルの仲間が開いてくれたコンサートでは、彼女が歌ったことのない曲の歌声に、みんなが自然に声を合わせてくれました。

ニコニコ動画やYouTubeで、妻の新たな歌声「妻音源とりちゃん」として、100曲以上を作り、それを公開していきました。映像には、妻の写真やホームムービーの動画などを使用。それを組み合わせることでミュージックビデオを作っていたわけです。

しかし、数年後に二つの問題が起きます。一つは、当初使っていた音声合成ソフトウェアのアップデートがされず、新しいMac、OSに対応しなくなってしまったこと。このために古いOSが動く古いMacを新たに購入したりしました。

もう一つの問題は、ミュージックビデオにするための写真、動画素材の枯渇です。持っている映像は全てデジタル化し尽くして、新しく素材となりうるものはもう残っていません。AIによる高精細化技術によって数十枚、実用に足る品質のものが再生できはしましたが、それもオリジナルあってのこと。

不本意ではありますが、次第に、制作のペースが落ちてしまっていました。

画像生成AIで、異世界の妻にプロンプトを送る

そこで登場したのが、Midjourney、Stable Diffusionという、テキストを入力すると画像を無限に生み出せる、画像生成AIの登場です。

さらに、グーグルの研究部門がDreamBoothという論文を発表。これは、少数の画像を学習させることにより、特定の人物の写真を新たに生み出せるというもの。これを誰もが使える形でいち早く実装したのが、清水亮さんが開発し運営するMemeplexというサービスでした。

2022年12月にこの機能が使えるようになってすぐ、妻の写真の中でもかわいく写っている写真十数枚を学習させます。そこから出てきたものは、かなり本人に近い、しかしこれまで見たことのない「写真」でした。

Memeplexで入力するテキストは、「A Photographic portrait of Torichan cute girl looking at me affectionately」といった文章。彼女にして欲しいことを言葉で伝えます。

「こうちゃんは自分の思っていることを出さなすぎる。気持ちはちゃんと言葉にしないと伝わらないよ」。よく妻に言われていました。

妻はここから行き来できない異世界にいて、そこに量子化暗号とかでテキスト（プロンプト、呪文）を送ると、向こうの世界のカメラマンや画家が妻を撮影したり描いたりして、それをこちらに送り返してくれる。そんなSFじみた設定だとわかりやすいかもしれません。

「とりちゃんの絵を描いている異世界画家」（Open Journeyで生成された）

そこでやり気が再び湧き起こり、使いづらい状態ではあるものの、妻の歌声合成をして、新たなミュージックビデオを作ります。その背景には妻の新たなイメージを何枚も使います。その写真や肖像画には、「異世界とりちゃん」と名付けました。