8月, 2015 | Kadinche Corporation: VR AR MR Deep Learning

アクションカメラGoproとEntaniya Fisheye 280を組み合わせて利用すると、底面に穴は開くもの全天球に近いパノラマ動画を撮影できます。ここではEntaniya Fisheye 280での撮影方法、射影変換、PanoPlaza Movieへのアップロード方法をご紹介します。

1. Entaniya Fisheye 280の準備と撮影

Entaniya Fisheyeレンズとは、GoProに対応した日本製の魚眼レンズであり、220度・250度・280度の3種類が販売されています。レンズを単体で購入してBack Bone（バックボーン社）のRIBCAGE（リブケージ）と呼ばれる改造キットとともにGoProに自分で取り付ける方法と、それらの改造をすでに施してある即撮セットを購入する方法があります。レンズ取り付け後の撮影は通常のGoProを利用した撮影と同じになりますが、例えばGoPro Hero4だと2.7Kモードでの撮影がアスペクト比が4:3で最も解像度が高い設定のため、より高画質なパノラマ動画を得られます。

2. Entapano Video V280を利用した射影変換

Entaniya Fisheyeレンズで撮影した動画は以下のように魚眼レンズで撮影した円形の円周魚眼動画になります。この形式だとPanoPlaza Movieにはアップロード出来ないので、Entaniya社のウェブサイトで無料で配布されているEntapano Video V280を利用して、円周魚眼からエクレクタンギュラーに射影変換します。この際にWidthやBitrateを設定するのですが、2.7Kモードで撮影している場合はWidthは3000、Bitrateは1000K-5000Kぐらいにすると画質とファイルサイズのバランスが取れるかと思います。

3. PanoPlaza Movieへのアップロード

エクレクタンギュラー形式に変換したパノラマ動画のファイルをPanoPlaza Movieにアップロードすれば、撮影したパノラマ動画を回転させながら視聴できます。以下に試験撮影をした際の動画を掲載しましたが、280度のレンズにより底面の撮影できない部分が少なくなっているかがわかるかと思います。

パノラマカメラといえばRicoh ThetaやKodak SP360がまずは思い浮かびますが、このようにGoPro + Entaniyaレンズというのもキレイに撮れていますよね。

360度映像をリアルタイムに配信可能なVahanaVR(VideoStitch社)を使用して、ライブストリーングの検証を行っています。VahanaVRを使ったライブストリーミングではどんな事が可能なのか検証を進める中でわかってきた内容をご紹介したいと思います。

VahanaVRによる配信までの一連の流れ

ハードウェア接続→事前準備（スティッチ）→配信→表示の流れに沿って、以下で説明します。

ハードウェア構成

まずはライブストリーミングの撮影・送出に必要なハードウェアを準備します。パノラマ専門ブログであるPanoramania Diaryの「VideoStitch Vahana VR 1.0正式リリース – 世界初の360videoライブ配信ソリューション」を参考にして、当社では以下の様なハードウェア構成にしました。GoPro Hero3+ 6台：Hero3だと原因不明のプチプチ音のノイズが乗りました
GoPro ６台用リグ：F360 Broadcaster
Micro HDMI – HDMIケーブル 6本：カメラとPCを離すための5mの延長ケーブルも
Mini USB – USBケーブル 6本：GoProに給電するため、USBハブとともに
PC：マウスコンピュータ MDV ADVANCE GX シリーズ MDV-GX9530X2-SH
HDMIキャプチャボード 2つ：Magewell XI400DE-HDMI

なお、講演のストリーミングのためにGoProに外部マイクを使用する場合は、USBインターフェイスを使うことになるためGoProへの電源供給はできなくなります

VahanaVRでの事前準備

リアルタイム配信するためには、事前に6台の映像を1つの360度動画にするスティッチする事前準備が必要になります。スティッチ自体はVahana VRにて自動で行われますが、設置環境によっては、スティチがエラーとなる場合があり、その場合は、カメラを置く位置を変えたり、地面や壁など平面になっている場所に物を設置したりして空間に特徴を出し、スティッチしやすい環境を用意します。

配信

Vahana VRでは、360度全方位のリアルタイム映像をローカルPC上に保存したり、RTMP配信・CDNサーバを使用してインターネット上に配信する事が可能です。ネット環境は無線では配信が不安定な状態となるため、有線での配信が必要となります。なおVahana VRで配信する映像フォーマットや変更可能なパラメータは以下のとおりです。

映像はH264、音声はAACでエンコーディングされます
Output Size：1920 x 960 (pixel)で使用しています
Stream URL：配信先のサーバーを設定します
Bitrate：送受信両側の帯域と画質のバランスから500btis/sにしてます
FPS: 30FPSにしてます

表示・ビューワー

Vahana VRでできるのはパノラマライブストリーミングの配信（送出）までで、受信（表示）するビュワーは自分で用意する必要があります。当社ではまずはパノラマ動画共有プラットフォームであるPanoPlaza Movieのビューワーに対して配信を行うことで、パノラマ動画の表示を実現しました。将来的にはスマートフォンやOculus Riftのようなヘッドマウントディスプレイ（HMD）でも見られるように対応していきたいと思っています。

VahanaVRを使うにあたり検討が必要な事（2015年8月現在）

GoPro内部のマイクでRTMP配信を行うと音声が小さく出力されます。弊社では、音声を増幅する外部マイクを使用して配信先でも音声が聞こえる様に検討を行っております。また、RTMP配信では、映像と音声が同期しない場合があり、映像が数秒遅れて再生されます。

VahanaVRで欲しい内容

現状はスティッチが自動でしか行えず、カメラの設置環境によってはカメラの繋ぎ目がハッキリと確認できるためスティッチ状態を微調整できる機能が欲しいところです。また、画面全体の明るさ補正を行う機能がないため、今後のバージョンアップで機能追加を期待したいところです。

パノラマライブストリーミングの今後

最近では、360camや超広角レンズを搭載したGoPro1台などでもライブストリーミングが可能になりつつあります。ここで紹介したGoProを6台使用する以外のもっとシンプルなカメラ構成でのストリーミングも実現されていくでしょう。また受信側も徐々にスマートフォンやヘッドマウントディスプレイでも表示できるようになりより一般化が近くなってくると思います。そうなるとパノラマライブストリーミングの応用先も講演系イベント、音楽系イベント、スポーツイベント、定点ストリーミングなどいろいろな例が出てくると思います。生中継は固定画角映像ではなく、全方位系バーチャルリアリティで見る時代が到来しそうです。

月: 2015年8月

Entaniya FisheyeレンズとPanoPlaza Movieの使い方