最新記事

人工知能

「二人」のオバマが同時にスピーチ!? 音声から話者の口の動きを学習するアルゴリズムが誕生

2017年7月19日(水)18時00分
松岡由希子

Synthesizing Obama-Youtube

<米ワシントン大学の研究チームは、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この口の形を、別の動画に合成することにも成功した>

明らかに異なる場所や時間に存在しながら同時に同じ言葉を話す"二人"のオバマ前大統領の様子が、動画共有プラットフォーム『ユーチューブ』で公開された。

音声データをもとに生成した本物そっくりの口の形を動画に合成

もちろん、この動画は本物ではない。右側の動画は、オバマ前大統領のスピーチの音声データをもとに人工的に生成した本物そっくりの口の形を、在職中にホワイトハウスで撮影された動画に合成したものだ。そして、この本物そっくりの口の形には、人工知能における機械学習の手法が用いられている。


米ワシントン大学の研究チームは、2017年7月、音声データをもとにその話者とそっくりな口の形を自動生成するアルゴリズムを開発。さらに、この研究チームが2015年に開発した合成技術と組み合わせることで、このアルゴリズムによって生成された口の形を、別の動画に合成することにも成功した。

一般に、音声から動画に変換するには、特定の音と口の形がどのように関連しているのかを把握することが必要だ。従来は、複数の人々に同じセンテンスを何度も繰り返して話してもらい、その様子を撮影するという手法がとられていたが、時間や手間がかかるのが課題であった。

既存のインタビュー映像などを活用できる

一方、このアルゴリズムでは、インターネットで公開されているインタビュー映像や動画コンテンツなど、既存のデータを活用できるのが利点。人工ニューラルネットワーク(人工神経回路網)に動画データを読み込ませて"学習"させ、それぞれの音声から基本的な口の形に変換する仕組みだ。対象となる動画にこれらの口の形を重ねて合成し、タイミングを調整すれば、本物そっくりのスピーチ動画が完成する。

このアルゴリズムの実用的なニーズの一例として、ビデオ会議や動画チャットなど、音声と動画によるコミュニケーション手段の改善が挙げられる。たとえば、『スカイプ』などのチャットツールから収集した動画データを使って各ユーザーの話しぶりを"学習"させれば、アルゴリズムによって、そのユーザーの音声から合成動画を生成でき、フェイス・トゥ・フェイスに近い状態でコミュニケーションできるわけだ。

今、あなたにオススメ
ニュース速報

ビジネス

アマゾン第1四半期、クラウド事業の売上高伸びが予想

ビジネス

NY外為市場=ドル上昇、円は日銀の見通し引き下げ受

ワールド

トランプ氏、ウォルツ大統領補佐官解任し国連大使に指

ビジネス

米マスターカード、1─3月期増収確保 トランプ関税
今、あなたにオススメ
MAGAZINE
特集:英語で学ぶ 国際ニュース超入門
特集:英語で学ぶ 国際ニュース超入門
2025年5月 6日/2025年5月13日号(4/30発売)

「ゼロから分かる」各国・地域情勢の超解説と時事英語

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    日本の未婚男性の「不幸感」は他国と比べて特異的に高く、女性では反対に既婚の方が高い
  • 2
    マリフアナを合法化した末路とは? 「バラ色の未来が来るはずだったのに...」
  • 3
    タイタニック生存者が残した「不気味な手紙」...何が書かれていた?
  • 4
    ウクライナ戦争は終わらない──ロシアを動かす「100年…
  • 5
    インド北部の「虐殺」が全面「核戦争」に発展するか…
  • 6
    MRI検査で体内に「有害金属」が残留する可能性【最新…
  • 7
    悲しみは時間薬だし、幸せは自分次第だから切り替え…
  • 8
    日本旅行が世界を魅了する本当の理由は「円安」では…
  • 9
    クルミで「大腸がんリスク」が大幅に下がる可能性...…
  • 10
    朝1杯の「バターコーヒー」が老化を遅らせる...細胞…
  • 1
    日本史上初めての中国人の大量移住が始まる
  • 2
    日本旅行が世界を魅了する本当の理由は「円安」ではない
  • 3
    MRI検査で体内に「有害金属」が残留する可能性【最新研究】
  • 4
    中国で「ネズミ人間」が増殖中...その驚きの正体とは…
  • 5
    ロシア国内エラブガの軍事工場にウクライナが「ドロ…
  • 6
    日本の未婚男性の「不幸感」は他国と比べて特異的に…
  • 7
    パニック発作の原因の多くは「ガス」だった...「ビタ…
  • 8
    マリフアナを合法化した末路とは? 「バラ色の未来…
  • 9
    使うほど脱炭素に貢献?...日建ハウジングシステムが…
  • 10
    私の「舌」を見た医師は、すぐ「癌」を疑った...「口…
  • 1
    【話題の写真】高速列車で前席のカップルが「最悪の行為」に及ぶ...インド人男性の撮影した「衝撃写真」にネット震撼【画像】
  • 2
    日本史上初めての中国人の大量移住が始まる
  • 3
    日本旅行が世界を魅了する本当の理由は「円安」ではない
  • 4
    健康寿命を伸ばすカギは「人体最大の器官」にあった.…
  • 5
    【心が疲れたとき】メンタルが一瞬で “最…
  • 6
    間食はなぜ「ナッツ一択」なのか?...がん・心疾患・抜…
  • 7
    北朝鮮兵の親たち、息子の「ロシア送り」を阻止する…
  • 8
    【クイズ】世界で最も「半導体の工場」が多い国どこ…
  • 9
    クレオパトラの墓をついに発見? 発掘調査を率いた…
  • 10
    中居正広は何をしたのか? 真相を知るためにできる…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story
MOOK
ニューズウィーク日本版別冊
ニューズウィーク日本版別冊

好評発売中