UnityでBinaryVRを使ってみる
UnityでBinaryVRを使う機会があったので導入までを書いてきたいと思います.
BinaryVRとは "フェイストラッキングカメラ" でVRデバイスと併用することで口周りの表情が取得できます.
取得した表情を３Dモデルへ反映させることで
・喋る言葉に合わせてモデルが口パクをしてくれるスクリプト...なんていうを書かずにすむ！
・声を出していない状態でニヤリとしたり梅干し食べた時のすっぱいリアクションがリアルに表現できるようになる！
うれしいですね.
こちらがBinaryVRの公式サイトです,詳しくはこちらで.
HTC Vive や Oculus Rift 等にも対応しており（テープで貼るだけ）
目線もモデルへ反映させたいという方にはFOVEなんていうVRデバイスなんかもあります.
本題のUnityでBinaryを使うとのことですが公式でこのようなProjectを用意してくれているのでこれを使うまでをやります.
自分が行った環境は
VRデバイス ： HTC Vive
Unity Version ： Unity5.5.0
OS ： Windows10
で行いました.
といってもドキュメントが付属しているので書いてある通りに進めればいんですけど全て英語で書かれている(^^；
...とにかく付属品は
・フェイストラッキングカメラ
・USBケーブル（Aタイプ, USB3.0）
・カメラ固定用のパーツ(Mount)の３つがあるのを確認.
まずHMDにカメラ固定用のパーツ(Mount)を両面テープで貼り付けます.
Viveの場合フロントのカメラが隠れてしまう(^^；
そしてカメラ本体とUSBを接続してUSB3.0側をUSBポートへ接続します.
Viveの方はHMDのとても固い蓋を開けるとUSBポートがあるのでそこに接続します.(蓋を締める時はスライドですんなり閉まる)
Oculus Rift の場合は外部からUSBポート引っ張ってきて接続?だと思います.
接続するとカメラとライトがHMDから飛び出しているか顔に向いているかを確認します.
※カメラとライトはこの位置にあります
物理的なセッティングは以上で次にカメラのドライバーをインストール.
BinaryVRは署名無しドライバーなので署名を一時無効化します.
今回はWindows10の方法を紹介します.
1.まずは "Windowsキー" もしくは左下の "Windowマーク" を左クリックし設定（歯車マーク)を左クリック.
2.「Windowsの設定」で "更新とセキュリティ" を左クリック. 
3.左のタブにある "回復" を選択し「PCの起動をカスタマイズする」の項目にある "今すぐ再起動" のボタンを左クリック.
※ボタンをクリックしたら再起動されますので作業中ならばセーブ.
4.青い画面で「オプション選択」が出るので "トラブルシューティング" を左クリック.
5.「トラブルシューティング」では "詳細オプション" を左クリック.
6.「詳細オプション」では "スタートアップ設定" を左クリック.
7.「スタートアップ設定」の画面では "再起動" を左クリック.
8.再起動されると「スタートアップ設定」の画面が表示されるので "7キー" を押します.
9."7キー" を押したら通常通りに起動するのでドライバー署名の無効化が完了しました
起動が完了したら左下の "Windowマーク" を右クリック.
その後 "デバイスマネージャー" を左クリック.
10.PCもしくはHMDにフェイストラッキングカメラのUSBが接続されていれば 「他のデバイス」に "FX3" と表示されているので左クリック.
11."ドライバの更新" を左クリック.
12."コンピューターを参照" を左クリック.
13."参照" を左クリック
14.BibaryVRフォルダの中にあるドライバを選択します.
ディレクトリは "BibaryVR/driver/win7/x64" を選択して "OK" を左クリック.
その後 "参照" を選択した画面に戻るので "次へ" を左クリック.
15.ドライバーのインストールが始まりますが署名がないので警告の画面が出ます.
"インストールします" を左クリック.
16.少し待つと「ドライバーが正常に更新されました」と表示されるので,これでドライバーのインストールは完了です.
ではさっそくUnityで使いましょう.
Unityを開いていつもの画面が出てきたら "Open" を選択.
BibaryVRのフォルダーの中から用意されたProject "unity" を選択.
ディレクトリは "BinaryVR/examples/unity"
するとSampleのProjectが起動します...顔が怖い(^^;
開始するとUIが表示されて
"Open Device" ではカメラが起動.
"Calibrate and Start Tracking" では初期調整（セットアップ）を行いトラッキングを開始.
"Start Tracking" ではトラッキングを開始.
ドライバーが正しくインストールされていると "Open Device" クリック時にButton上の白い部分にカメラの映像が表示されます.
※"Open Device" → "Calibrate and Start Tracking" で動くので右のButton使わない...
実行すると感じになります.
カメラから出力された映像を表示したくない場合は「Hierarchy」の
"UI/Canvas" を選択して 「Inspector」のチェックを外して非表示にするといいと思います.
顔の構造を見てわかる通り顔のパーツが分離されており各パーツにアニメーションを設定されているようなので外部からインポートしたモデルに即適用とはいかない・・・？
モデリングのことがわかってないので適用するには自分でモデルを作るか改変OKのモデルのパーツを分解して適用するしかないのかな？
次はモデリングの勉強してモデルに適用する所まで書きたいなぁ...
