【動画編集】VTuberをMMDで喋らせてみた話
こんにちは、あるときはモデラー兼動画編集マンになるWebデザイナー、もいです。最近は自分が何屋さんなのかわからなくなってきました。
今回は弊社アルタが実施しているWeb会社説明会用に作った動画のお話をします！
Web会社説明会で流す動画がほしい！
某日、総務部からこんな動画制作のお願いが来たので、詳しくお話を聞きました。
アルタではMicrosoft Teamsを使ったオンライン上での会社説明会を積極的に行っているのですが、画がずっと変わらないので変化をつけたい…とのこと。
そこで、単調になりがちな冒頭の諸注意の部分などを、アルタで運営しているVTuberを使って楽しくお届けできないか？という依頼でした。
ちなみにうちのVTuberはこの子たちです。
普段は好き勝手に自分の趣味の話全開で活動しているのですが、今回はリクルートのお手伝いを買って出てくれました。
バ美肉するまでにもいろいろすごい経緯を持っているVなので、またその軌跡も記事に書きたいですね…(-ω- )
完成動画はこちら
お二人のボイスドラマ的なセリフの音源をもらい、それに合わせてMMDで口パクや呼吸・体の動きなどを付けています！
条件はこんな感じ
ミーティングの結果、わかった条件はこうでした。
- 普通に聞いていたら眠たくなる諸注意の説明を、楽しくお届けする！
- VTuber2人組によるテンポのよい進行
- 3Dキャラが動いて喋る
- 字幕やBGMなど普通の動画編集ももちろん込み
冒頭部分に流す動画なので、緊張して入室してくるであろう学生さんたちにとっても良い影響がありそうだし、話題性もありそうです。
しかし問題なのは「3Dキャラが動いて喋る」ところです。
３Dアバターのトラッキング環境はあるにはあるのですが1式しかないし、うちにある機材は精度が高いものではありません。上半身の動きだけならまだしも、アニメのような豊かな表情や思い通りの仕草を撮るのは難しい環境です。
(余計な動作が入ったり失敗したりしたら、撮りなおしですしね…)
なので今回は、かの有名なMMD(Miku Miku Dance)でアニメーションを付ける→動画編集ソフトに持っていくという流れで作ることにしました！
使ったソフト紹介
- XISMO(基本的なモデリング)
- CLIP STUDIO(テクスチャ描いたり)
- PMX エディタ(MMD用のセットアップ)
- Adobe Audition(モデルの口パク用にセリフの音源を編集する)
- VMD Spectrum(MMD用の口パクモーションを作る)
- MMD、MME(アニメーションの映像を作る)
- Adobe Premiere(動画編集)
ちなみにVTuberの片割れに、
彼女は基本的にYouTubeでは大好きな海外ドラマ「スタートレック」のことしか話さず、3Dアバターの衣装もスタートレックの艦隊服仕様で作ったものしかありませんでした…なので、今回の動画のために大急ぎで通常衣装のモデリングをしました。
動画には映っていないけど、下半身も最低限動くように整備しています。えらい！
私のメディア欄にも貼っちゃう～～～(⋈◍＞◡＜◍)。✧♡
— アシュリー🖖Vtuber*StarTrek勝手に応援 (@ashley_frontier) June 12, 2020
くるんっ♪ pic.twitter.com/20oiPomQrz
モデリングの話を始めたらいつまでたっても本題にたどり着かないので、モデリング自体の話は別記事でしますね。
これより先は、PMXファイルが無事完成してからの話です。
口パクのモーションを作る
セリフに合わせてお話しているように見えないと始まりませんからね！
MMDで口パク(リップシンク)をさせる方法はいくつかありますが、今回は「VMD Spectrum」を使用しました。
色々調べてはみたのですが、他の方法はどうも歌に合わせた歌唱モーション・リップシンク向きのものが多くて…（そもそも本来のMMDの用途はそっち）
こちらの動画を見ながらやったらできました。
https://www.nicovideo.jp/watch/sm19550309
Adobe Auditionで２人のセリフ音源をひとりぶんずつ出力し、動画の手順に沿ってVMD Spectrumにぶち込みます。
あいうえおの形に対応はしていませんが、見た目的には十分かなと思います。
MMDに口パクと呼吸のモーションを読ませる
MMDに2人のモデルを放り込み、それぞれに先ほど作った口パクのモーションファイル(vmd)を読ませます。
再生してみたところ、口だけが動いていてちょっとこわかったので、呼吸のモーションも入れることにしました。
呼吸モーション用のボーンは、こちらの動画に沿って入れました。
https://www.nicovideo.jp/watch/sm34658683
これなら呼吸用のボーンと他モーション用のボーンは別扱いになるので、呼吸+他の動きをさせることが可能になります。
あとは呼吸っぽい感じに胸や首の呼吸ボーンにキーフレームを打ち、ループさせまくります。2人の呼吸のリズムを微妙にずらすと、より生きている感じがするかな？と思うのでおすすめです。(上記の動画で配布されているモーションファイルをそのまま使っても良いと思います！)
比較動画を作ってみました。無いよりはあったほうが多少自然なのではないでしょうか？？
これでとりあえず最低限「喋っている」表現は作れました。
体の動きやカメラを付ける
脳筋なのでキーフレームは手打ちでつけています。
なにかいい方法があったら教えてほしいです…配布されているモーションを一部お借りしようかとも思いましたが、突貫工事で作ったモデルだったのでウエイト設定などが甘く、あんまりきれいに動いてくれませんでした。それなら自分でボーンを動かして、なんとか良さげに見えるポーズを都度作ったほうが速いな！という感じ。
よく使うポーズはキーフレームを選択→ポーズデータを出力でvmdファイルに保存できるので、私はこまめに保存して使いまわししています。
(お辞儀、にこっと笑う、デフォルトの立ち姿など)
MMEでエフェクトを付ける
質感の表現としてお借りしたのはミーフォ茜様の PostRimLighting 、winglayer様のSimpleToonShader です。
あと、今回は別ソフトで動画編集をすることを前提としていたので、動画内の他の要素と干渉(同化したりなど)しないように、わたり様のモデル縁取りエフェクトで白フチをつけました。
動画編集時につけてもいいのですが、フチが荒れてギザギザになってもいやだなと思って…とても使いやすく便利なエフェクトなのでおすすめです！
Premiereで動画編集して完成
あとは全体を見つつ微調整して、MMDからavi形式で動画を書き出します。
それをAdobe Premiereに放り込んで、二人分のセリフ音源を入れたりBGMをつけたり、字幕をつけたり動画編集したらおしまいです！
動画編集のやり方についても、何か特筆できることがあったら記事にしようかな？
こんな感じでなんやかんや気合で動画を作っています。
基本的にVTuberのほうのYouTubeチャンネルは楽しいことを楽しいだけ自由にやっているのですが(あんまり会社の話や宣伝をしない)、今回思わぬタイミングで会社のお役に立てたようでよかったです！これからもがんばるぞ！
こういうアニメーション？寸劇？的な動画もやればできるということが分かったので、YouTubeの企画でも何かできたら面白いかなと思っています。
今のうちにチャンネル登録よろしくお願いします(宣伝)
