勉強会のレポート(メモ)です。
参加したのはこちら、「Unity + モーションキャプチャ「Perception Neuron」ハンズオン」
会場はサポーターズさんです。
モーションキャプチャーとは
人の動きのこと、それを取り入れること
モーションキャプチャーをする機械はたくさんあります。
身体にセンサーをつけてキャプチャするタイプ、カメラにキャプチャさせるタイプなど。
※画像のVIVEとキネクトは価格が逆です
今回説明するのはニューロン、
磁気干渉に弱いので注意が必要です。
Neuron
お値段は24万ほど、それ以前はモーションキャプチャーをするのに数百万円必要だったが大分落ちた。
Neuron Pro
価格は45万ほど、耐磁気性能アップ。
完全無線化、バッテリー駆動化。
数時間使う場合はもうひとつ必要、つまり値段が倍。
ただし付け替え自体はすぐにできます。
Hi5 VR GLOBE
高精度な指トラッキングが可能。
NeuronProは指トラッキングができないので、ほぼ必須。
電池式なので長時間の使用も楽。
無線機器だが強い。
現在品切れ中。
モーションキャプチャーデータの確認
ニューロンの場合。
ニューロンでは位置データのみ記録される、それを専用のソフトウェア(Axis Neuron)で人型のモーションにし、Unityなどに取り込む。
または録画したものをfbxや他のモーションデータで出力することができる。
リアルタイム性を求めなければこっちがいい。
Unityで利用方法
Axisから出力されたFBXのRigをHumanoidに設定するだけ。
ただこの時結構メモリを食ってしまう。
注意点
そのまま使うと関節とかがおかしくなるので、差分を吸収する必要がある。
ばくすたーさんのブログをみてください。
https://www.baku-dreameater.net/archives/5741
ニューロンでできること
・リアルタイム通信でキャラを動かす
・用途はVtuberの生配信など
・FBXに書きだす場合は、部分的に修正するなどしてゲームや動画制作に
利用方法の紹介
・Vtuber
・ゲームで使うモーションの作成
・3Dアニメ
・躍らせる
Vtuberの現場で使われている技術
表情をとる
・フェイストラッキング(iphone10など)
・手動の操作(表情のAnimationClipを割り当てる)
リップシンク
・OVRLipSync
リップシンクライブラリ
遅延がやや大きいのでリアルタイムには注意
・AniLipSync
遅延改善に加えアニメに特化している
ボイスチェンジャー
・VT-4
PC不要なのでスマホ配信との相性がいい
遅延やノイズがないわけではない
・Voidle
最近発売したボイチェンソフト
20ドルだが7月まで960円なのでとりあえず買ってみるのもいい
・DynamicBone
髪や服の動きなどはこっちでやろう
ただ結構重たい 当たり判定を増やしすぎるとボトルネックになることも
シェーダー
・UTS
設定項目が多いのでこだわりを出せる。
アップデートが頻繁にされる、最近UIが整理されているので、敬遠していた人も是非。
ただ負荷が重いので使うかよく考えよう。
・MToon
バーチャルキャストが開発したトゥーンシェーダー。
負荷が軽く、設定も簡単で扱いやすい。
その他
・FinalIK
関節回りの制御をしてくれる
・クロマキー対応
OBSなどの外部ソフトで背景を透過できる
質疑応答
Q. 複数人でできるのか？
A. 5人までできる(そういう仕様)
ニューロンプロだと難しい、複数出したいなら複数パソコンが必要、チャンネルの関係で3人までなら同じ空間でできます。
懇親会
懇親会で体験させていただきました。
結構前ですがニューロンが主催のXRハッカソンに参加したことがあります。
jvrh2017.peatix.comこの時はViveを使うチームに入ったのでニューロンの使い心地などはわかりませんでしたが。
装着した感じはかなり軽くそこまで違和感はありませんでした。
見た目がサイボーグっぽくてかっこいい。
ただやはり値段がネックなところ・・・
