最新記事

人工知能

「二人」のオバマが同時にスピーチ!? 音声から話者の口の動きを学習するアルゴリズムが誕生

2017年7月19日(水)18時00分
松岡由希子

Synthesizing Obama-Youtube

<米ワシントン大学の研究チームは、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この口の形を、別の動画に合成することにも成功した>

明らかに異なる場所や時間に存在しながら同時に同じ言葉を話す"二人"のオバマ前大統領の様子が、動画共有プラットフォーム『ユーチューブ』で公開された。

音声データをもとに生成した本物そっくりの口の形を動画に合成

もちろん、この動画は本物ではない。右側の動画は、オバマ前大統領のスピーチの音声データをもとに人工的に生成した本物そっくりの口の形を、在職中にホワイトハウスで撮影された動画に合成したものだ。そして、この本物そっくりの口の形には、人工知能における機械学習の手法が用いられている。


米ワシントン大学の研究チームは、2017年7月、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この研究チームが2015年に開発した合成技術と組み合わせることで、このアルゴリズムによって生成された口の形を、別の動画に合成することにも成功した。

一般に、音声から動画に変換するには、特定の音と口の形がどのように関連しているのかを把握することが必要だ。従来は、複数の人々に同じセンテンスを何度も繰り返して話してもらい、その様子を撮影するという手法がとられていたが、時間や手間がかかるのが課題であった。

既存のインタビュー映像などを活用できる

一方、このアルゴリズムでは、インターネットで公開されているインタビュー映像や動画コンテンツなど、既存のデータを活用できるのが利点。人工ニューラルネットワーク(人工神経回路網)に動画データを読み込ませて"学習"させ、それぞれの音声から基本的な口の形に変換する仕組みだ。対象となる動画にこれらの口の形を重ねて合成し、タイミングを調整すれば、本物そっくりのスピーチ動画が完成する。

このアルゴリズムの実用的なニーズの一例として、ビデオ会議や動画チャットなど、音声と動画によるコミュニケーション手段の改善が挙げられる。たとえば、『スカイプ』などのチャットツールから収集した動画データを使って各ユーザーの話しぶりを"学習"させれば、アルゴリズムによって、そのユーザーの音声から合成動画を生成でき、フェイス・トゥ・フェイスに近い状態でコミュニケーションできるわけだ。

今、あなたにオススメ
ニュース速報

ビジネス

日銀、金融政策の維持決定 食品高騰で25年度物価見

ビジネス

みずほFG、通期予想を上方修正 市場予想上回る 

ビジネス

三菱電、営業益4─6月期として過去最高 インフラな

ビジネス

中国、エヌビディア「H20」のセキュリティーリスク
今、あなたにオススメ
MAGAZINE
特集:トランプ関税15%の衝撃
特集:トランプ関税15%の衝撃
2025年8月 5日号(7/29発売)

例外的に低い日本への税率は同盟国への配慮か、ディールの罠か

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    ウォーキングだけでは「寝たきり」は防げない──自宅で簡単にできる3つのリハビリ法
  • 2
    いま玄関に「最悪の来訪者」が...ドアベルカメラから送られてきた「悪夢の光景」に女性戦慄 「這いずり回る姿に衝撃...」
  • 3
    枕元に響く「不気味な咀嚼音...」飛び起きた女性が目にした「驚きの光景」にSNSでは爆笑と共感の嵐
  • 4
    日本人の児童買春ツアーに外務省が異例の警告
  • 5
    12歳の娘の「初潮パーティー」を阻止した父親の投稿…
  • 6
    【クイズ】1位は韓国...世界で2番目に「出生率が低い…
  • 7
    一帯に轟く爆発音...空を横切り、ロシア重要施設に突…
  • 8
    M8.8の巨大地震、カムチャツカ沖で発生...1952年以来…
  • 9
    街中に濁流がなだれ込む...30人以上の死者を出した中…
  • 10
    「自衛しなさすぎ...」iPhone利用者は「詐欺に引っか…
  • 1
    ウォーキングだけでは「寝たきり」は防げない──自宅で簡単にできる3つのリハビリ法
  • 2
    幸せホルモン「セロトニン」があなたを変える──4つの習慣で脳が目覚める「セロ活」生活のすすめ
  • 3
    囚人はなぜ筋肉質なのか?...「シックスパック」は夜つくられる
  • 4
    いきなり目の前にヒグマが現れたら、何をすべき? 経…
  • 5
    航空機パイロットはなぜ乗員乗客を道連れに「無理心…
  • 6
    中国が強行する「人類史上最大」ダム建設...生態系や…
  • 7
    「様子がおかしい...」ホテルの窓から見える「不安す…
  • 8
    【クイズ】1位は韓国...世界で2番目に「出生率が低い…
  • 9
    いま玄関に「最悪の来訪者」が...ドアベルカメラから…
  • 10
    タイ・カンボジア国境で続く衝突、両国の「軍事力の…
  • 1
    その首輪に書かれていた「8文字」に、誰もが言葉を失った
  • 2
    頭はどこへ...? 子グマを襲った「あまりの不運」が話題に
  • 3
    ウォーキングだけでは「寝たきり」は防げない──自宅で簡単にできる3つのリハビリ法
  • 4
    ディズニー・クルーズラインで「子供が海に転落」...…
  • 5
    幸せホルモン「セロトニン」があなたを変える──4つの…
  • 6
    「細身パンツ」はもう古い...メンズファッションは…
  • 7
    囚人はなぜ筋肉質なのか?...「シックスパック」は夜…
  • 8
    「ベンチプレス信者は損している」...プッシュアップ…
  • 9
    ロシアの労働人口減少問題は、「お手上げ状態」と人…
  • 10
    いきなり目の前にヒグマが現れたら、何をすべき? 経…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story
MOOK
ニューズウィーク日本版別冊
ニューズウィーク日本版別冊

好評発売中