前回は → vMix ハンズオン【第8回】
1. Instant Replay とは
大変ご無沙汰しております。本「vMix ハンズオン」シリーズ、実に3年ぶりの再会です。
配信の現場からは遠ざかって久しいですが、個人的な配信(主に車載配信ですが)で vMix を使い続けています。 本記事にたどり着いた方とはちょっと違う使い方かもしれません。
もし、内容が昨今の現場事情と乖離していましたらご容赦いただけますと幸いです(メールなどでお知らせいただけると助かります)
前置きは程々にして本題に入りますが、 4K エディション以上の vMixには「Instant Replay(インスタントリプレイ)」というリプレイ録画・再生機能が搭載されています。 これはちょうどスポーツ中継のリプレイの様な振り返り映像を即座に出せる機能です。
Instant Replay の機能としては、大きな括りで言うと
- 特定の Camera インプットまたは Output を常時録画し続ける機能(マルチカメラアングル対応)
- 録画のタイムライン上に In/Out マーカーを付けてイベントを作成、および作成されたイベントを管理する機能
- 選択したイベントをトランジションを伴って Output でリプレイ再生(その後、必要に応じてライブ映像に復帰)する機能
この3つになります。
通常の現場では、ン百万という高価な機材でこの3つの機能を実現しますが、vMix では高々十数万円で実用的なソフトが手に入ります。 ただし、安定した動作を望むなら、ハードウェア(PC)にそれなりの投資が必要です。
2. Instant Replay 必要環境
2.1. ストレージ
参考:www.vmix.com
参考URLの表をご覧いただきたいのですが、まずストレージとしてリプレイ録画専用の SSD が必須となります。 私が現場にいたころと比べて、最近の PC は NVMe の高速な SSD を積んでいることがほとんどだと思いますが、 それらは OS やデータドライブで使っていると思います。 必ず、「それとは別に」SSD を用意して搭載してください。
Instant Replay は常時高いビットレート、かつ複数インプットをパラレルで録画書き込みする上、 リプレイ再生を行うために同様のビットレートで読み出しが発生するため、 ストレージに負荷がかかります。常時録画やリプレイ再生の品質は SSD のアクセス速度に依存します。
OS やデータドライブと、リプレイ録画用の SSD を同じにしてしまうと、他の処理が影響を及ぼす可能性が高まります。 リプレイ再生時にもたつく場合もあります。
2.2. CPU、メモリー
メモリーは、vMix が十分快適に動作する量を積んでいれば問題ないでしょう。
CPU については、リプレイ録画の際にソフトウェアでエンコードする為、少なくとも 8 コア以上の十分強い性能が必要になります。 特に 60 fps かつ高解像度でリプレイを行いたい場合は可能な限り高性能な CPU を選択してください。
2.3. リプレイカメラ
Instant Replay では Output と、特定種類のインプットのみリプレイカメラに指定できます。
指定できるもの
- Output 1 ~ 4
- Camera
- NDI / Desktop Capture
- Stream / SRT
- Audio Input(映像は黒ですが、主に音声ソースとして使用できます)
- Video Call
指定できない物
- Video
- DVD
- List
- Instant Replay
- Image Sequence / Stringer
- Video Delay
- Image
- Photos
- PowerPoint
- Colour
- Audio
- Title
- Virtual Set
- Web Browser
- Zoom
- Mix
- Output(インプットとして追加されるもの)
- Preview(インプットとして追加されるもの)
指定できないものは Output に出力してから Instant Replay で読み込むといった工夫が必要です。
3. Instant Replay インプット作成
vMix メインウインドウの右下
Add Input
をクリック「Input Select」ダイアログの左ペインで
Instant Replay
を選択作成フォームが右ペインに表示されるので、以下の様に設定してください。
① Session Folder
- 用意したリプレイ専用 SSD ドライブ配下のフォルダを選択してください。② Recording Format
- 録画品質の設定を行います。通常はプリセットの解像度・フレームレートと同じにしてください。また、エンコーディングの品質は HQ(最高)、SQ(中)、LQ(最低)の3段階から選べます。
1080 30p の場合 HQ 144 MBps SQ 72 MBps LQ 48 MBps です。
映像ソースがゲームの様なエッジがくっきりしているものは高めの設定、生カメラは SQ あたりに下げても違和感ないかもしれませんが、 ブロックノイズを避けたい、あるいはストレージに余裕があるなら HQ を選びましょう。 当然、品質設定によって録画出来る時間数が変わります。
解像度、フレームレートは作成後に変更できません。品質は変更可能です。
③ Automatically delete prior video when disk space is low
- ストレージに空きスペースが無くなった場合、 古い録画から削除していきます。エラーで停止するのを避けるため、チェックしてください。④ Cameras
- リプレイカメラ(Camera)を選択してください。vMix のエディションによって選べる数が変わります。4K は 1 台、PRO 以上は最大 8 台選択できます。
複数選択した場合は、マルチカメラアングルのリプレイができます。 イメージとしてはサッカーでゴールシーンを複数のアングルでリプレイされるあれです。
⑤ Playback Audio Source
- リプレイ再生時に Camera の音声を使用するかを選択します。Master
は後述のMaster Audio Channels
設定で録音されたマスター音声を使用します。Follow
はリプレイカメラ毎のエンベデッドオーディオを使用します(マルチカメラアングルリプレイの場合)⑥ Master Audio Channels
- マスター音声として録音するチャンネルを選択します。 例えば、実況音声付きのリプレイがほしい場合は実況音声が乗ったバス出力(BusA
~BusG
)をリプレイのマスター音声として選択します。リプレイに司会音声も実況音声もガヤもBGMもその他全部乗っていて良いなら
Master
を選択してOKですが、 その場合リプレイの使い勝手は余りよくないでしょう。MA
はMaster
とBusA
の 4ch 音声、FG
はBusF
とBusG
の 4ch 音声です。⑦ In Transaction
- リプレイ入りする際に使用するトランジションを設定してください。スティンガーも使用できます。⑧ Out Transition
- リプレイからライブに戻る際に使用するトランジションを設定してください。スティンガーも使用できます。⑨ Event Transition
- イベントとイベントをつなぐ際に使用するトランジションを設定してください。スティンガーは 使用できません。⑩ Match Reply Speed
-Event Transition
の速度を、リプレイ再生スピードに合わせたい場合はチェックしてください。 例えば、スローモーション再生を行う場合トランジションもスローモーションにしてほしい場合が該当します。
OK
ボタンをクリックしてください。インプットに Instant Replay が追加されます。 また「Audio Mixer」タブの隣に「Instant Replay」タブが追加されます。 タブを選択すると「Instant Replay」インターフェースが表示されます。
4. Instant Replay ワークフロー
4.1. 本番中は必ず Record ボタンを押す!
これは本当によくある事故ですが、Instant Replay の
Instant Replay が録画中は、
録画していない状態でイベントを作成してもリプレイすることはできません(前回の録画の末尾にイベントを作成することになる)
過去の録画にイベントを作成する使い方があるため、このような仕様になっています。
4.2. ライブ映像にイベントを作成する前に Live
ボタンを赤くする!
これもよくある事故ですが、Live
ボタンが赤くない状態(=Recordedモード)でイベントを作成するというものです。
ライブ映像にイベントを作成する場合は Live
ボタンが赤く表示されていることを確認してください。
赤く表示されていない場合は Live
ボタンをクリックしてLiveモードに戻してください。
Live
が赤くなっていない(Recordedモード)状態は、過去の録画にイベントを作成する機能になります。
4.3. リプレイ対象ととなるイベントを作成する
ほとんどの現場ではリプレイ作成は必ずオペレーターが一人張り付くことになろうかと思います (その為の vMix 機が 1 台割り当てられる事も多いかと)
リプレイオペレーターは本番の映像を見ながらリプレイに良いシーンが見つけたら、その都度イベントを作成する形になります。
イベントの作成方法は2通りあります。
- イベント開始タイミングで
In
ボタンをクリックし、終了タイミングでOut
ボタンをクリックする → In から Out がイベントとなる -5
、-10
、-20
ボタンをクリックして、 その瞬間から数秒間の過去をイベントとする → クリックした瞬間から過去5秒, 10秒, 20秒がイベントとなる
コンテンツにもよりますが、リプレイオペレーターはライブ映像をリアルタイムで視聴しながらの作業になるため、 殆どのケースで 2 を使用する事になるでしょう。 1 は起こることが分かっているイベントに対して使用する感じでしょうか(切っ掛けが前もって決まっているアクション)
さて、マイナス数字ボタンの使い方としては、
ワンアクションなら -5
で足りて、軽めのやり取りがあった結果なら -10
、長めの経緯が重なったイベントなら -20
を使う、
という感じです。
釈迦に説法かもしれませんが、20 秒はリプレイとして見ると結構長尺に感じられると思います。
このあたりはリプレイオペレーターの秒感覚が問われます。
尚、In
, Out
, -5
~ -20
のいずれのボタンでイベントを作成しても、後から開始・終了時間を編集することが可能です。
更に後述しますが、リアルタイムでイベントを作成し損ねても、後から録画上にイベントを作成することも可能です。
イベントは後で取捨選択ができますから、気になるシーンにはガンガンイベントを作成していきましょう。
4.4. イベントを調整する
この作業は Instant Replay が録画中であっても行うことが可能です。
放送でリプレイを使用するタイミングが来る前に、イベント(=リプレイ素材)の調整を済ませる必要があります。
ここでは、特定イベントの In
と Out
の時間を調整する事を想定します。
In
,Out
のタイムコードは PC の時間で記録されます。
- 「Instant Replay」インターフェースのイベントリストに表示されている物からイベントを1つ選択してください。
- イベントの開始・終了時間を調整します。
In
の時間を調節するには、In
のセルを水平方向にドラッグします(右方向が未来。0.5秒単位での調整になります)Out
の時間を調整するには、Out
のセルを水平方向にドラッグします(右方向が未来。0.5秒単位での調整になります)- この時、Instant Replay インプットのプレビューにはドラッグしている
In
あるいはOut
時点の絵が表示されます。 大きく見たい場合は Instant Replay インプットをクリックして Preview に表示させ確認すると良いでしょう。 この操作を行っている間でも Instant Replay は録画をし続けます。 Duration
にはイベントの長さが表示されます。- 必ず開始時間は終了時間よりも前になります。また、0.5秒未満の長さにはできません。
- 異なるイベント同士は開始・終了時間がオーバーラップすることもあり得ます。
- この時、Instant Replay インプットのプレビューにはドラッグしている
Speed
のセルを水平方向にドラッグすると再生速度(後述のスローモーション再生に相当)を設定できます。- もし、調整作業中にライブ映像にリプレイ対象シーンを発見した場合は、
その場で
In
,Out
,-5
~-20
ボタンをクリックして構いません。現在の時刻でイベントが作成されます。Live
モードでは必ずこの動作になります。
4.5. イベントを取捨選択する
リストからイベントを選択した状態で In
の開始時間から録画を再生できます。
この時の「録画再生」は、Output に Instant Replay を表示させていない限り(=リプレイ再生中でない限り)、プレビューで行われます。
音声も、意図的に ON されていない限りマスターにミックスされることはありません。
尚、再生はイベントの
Out
に到達しても止まりません。
また、再生したまま、リストで別のイベントを選択すると、そのイベントの In
開始時間にジャンプします。
再生を止めたい時は
不要なイベントをリストから削除するには、イベントを右クリックして、メニューから Remove
をクリックしてください。
(イベントの開始・終了時間によらず)イベントの順番を入れ替える事も出来、リストでイベントをドラッグし、挿入したい行にドロップしてください。
In
と Out
のセルは時間調整の操作と競合するので、セルの外側でドラッグしてください。
4.6. リプレイ再生する
さて、放送でリプレイを使用する段になったとします。
ここまででイベントの調整と取捨選択が終っているものとします。
いよいよ、リプレイ出しのキューが来たら、以下の手順でリプレイ再生を実行します。
特定のイベント、カメラアングルだけ再生する場合
リストからイベントを(複数の場合は
Shift
またはCtrl
キーを押しながら)選択し、Play Events
ボタンをクリックしてください。 また、同様に(リストの1
~8
列にある)チェックボックスでカメラアングルを選択してください。Play Events
ボタンは選択されたイベントのみをリプレイ再生し、選択されていない場合は何も起こりません。マルチカメラアングルは当方では試せないので、PRO の vMix をお持ちの方は各自で試してください!
リストの全イベントをリプレイ再生する場合
Play Events
の右横にある ▼ ボタンをクリックしてサブメニューを開き、Play All
をクリックしてください。
In Transition
で設定したトランジションが走り、イベントがリストの上から順番に再生されていきます。
マルチカメラアングルの場合は、イベントの中でもそれぞれのカメラアングル映像が順番に再生されます。
イベントとイベント(及びカメラアングルとカメラアングル)の間は Event Transition
が使用されます。
そして、リスト最後のイベントが再生された後、Out Transition
が走って、自動的にライブ映像に戻ります。
リプレイ再生には、現在開いているタブ(
1
~20
まである)のリストが使用されます。
リプレイ再生中はシークスライダーの上に、プログレスバーと残り時間が表示されます。 リスト最後のイベントになるとプログレスバーが赤くなります。 これを元に、リプレイ再生終わりのカウントダウンは、残り時間を読み上げるのがよいでしょう。
マルチカメラアングルの再生イメージは vMix 公式の動画 が分かりやすいと思います。
リプレイ再生を途中でやめてライブ映像に戻る
リプレイ再生している最中に、急遽ライブ映像に戻したい場合があるとします。
リプレイ再生中は Play Events
ボタンが緑色になっています。
再び Play Events
ボタンをクリックすると、リプレイ再生を中断してライブ映像に戻せます。
リプレイ再生を中断した際も
Out Transition
で設定したトランジションが実行されます。
スローモーション再生
リプレイと言えばスローモーションが使われるシーンを想像する方も多いでしょう。
Instant Replay ではスローモーションリプレイが可能です(少しノイジーですが、音声もスローモーションになります)
Play Events
のライン右側にある 25%
~ 100%
のボタンが Slow motion speed control
ボタンです。
100%
は通常スピードでの再生で、それ未満の数字を選択するとスローモーションが発動します。また、リプレイ再生中も変更できます。
ボタンに無い速度でスローモーションを微調整したい場合は、ボタンの右側にあるスライダーを操作します。
尚、このスローモーションは基本的にコマの送りが遅くなるだけで、フレーム補間が行われたりはしません。滑らかなスローモーションが欲しい場合は、 高いフレームレートで入力および録画する必要があります。
スローモーションのボタンは「Instant Replay」インターフェースを横に広げないと表示されないので注意。
逆再生
判定がきわどいシーンを巻き戻して見せたい場合に便利な逆再生を、リプレイ再生中に行うことが可能です。
リプレイ再生中に
逆再生をやめたい場合は、再度緑色の
逆再生でイベントの最初まで戻るとイベントのリプレイ再生が終了したものとして扱われるので注意してください。 イベントの連続再生している状態では前のイベントに戻らず 次のイベントに進みます。
上記の様な仕様なので、
←
ボタンが緑色になっている状態でPlay Events
を実行すると、全てのイベント再生が即座に終了するという予想外の動作をします。 これは改善が必要な仕様(仕様バグみたいなもの)だと筆者は思います。「イベントの終わりから再生」とかに変えてほしい。
ループ再生
「Instant Replay」インターフェース下部の Loop
ボタンをクリックして緑色にした状態にすると、
リストの(あるいは選択された)末尾イベントまでリプレイ再生した後、再び先頭のイベントに戻り、繰り返し再生が行われます。
ループ再生を即座にやめてライブ映像に戻る場合は緑色の Play Events
ボタンをクリックする、
あるいは今ループ終了でライブ映像に戻る場合は緑色の Loop
ボタンをクリックして灰色に戻してください。
4.7. 使用済のイベントを退避する
一度使用したイベントを(削除したくはないが)退避しておきたい場合は、リストからイベントを Shift
または Ctrl
キーを押しながら選択し、
右クリックメニューから Move To...
のサブメニューを開き 2
~ 20
の何れかのをクリックして、該当数字のリストに移動してください。
イベントを退避できるリストは(1番を除くと)19 個用意されています。 これらリストの使い方は自由で、1 つのリストに集めても良いし、放送の区切り毎にリストを分けても良いです。 あるいは、区切り毎に別のリストに切り替えてイベントを作成するという使い方もあります。
4.8. 本番が終わったら録画を停止する
本番が終わったら(あるいはリプレイ録画が不要になったら)赤くなっている
5. Instant Replay の高度な使い方
5.1. 過去の録画にイベントを作成する
Live
ボタンが赤い「Liveモード」では、イベントは最新の録画に対して作成されます。
Live
ボタンが赤でない「Recordedモード」の場合は、過去の録画に対してイベントを作成できます。
この作業は録画中であっても実行可能です。
- 「Instant Replay」インターフェースの一番下のシークスライダーで、ある程度過去にさかのぼります。
Live
ボタンは自動的に灰色に変わります(Recordedモード) - ボタンをクリック。プレビューで過去の録画が再生されます。
- リプレイ対象となるシーンまで来たら
In
,Out
,-5
~-20
ボタンを使用してイベントを作成します。 - 必要に応じて上記を繰り返します。
- 作成作業が終わったら、忘れずに
Live
ボタンをクリックして「Liveモード」に戻しておきましょう。
5.2. イベントを動画クリップ(mp4 形式)でエクスポートする
「Instant Replay」インターフェース下部の Export Clips
ボタンをクリックすると、選択したイベントを mp4 形式でエクスポートできます。
編集ソフトで使えるので、YouTube にアップロードしたり、イベントをつなげてハイライト動画を作成するといった場合に便利です。
Instant Replay の録画は VMX1 という独自形式の avi で分割されて保存されています。この形式は編集ソフトで読み込むことは可能ですが、 そのまま YouTube 等にアップロードすることはできません。必ず
Export Clips
を使用して mp4 にエクスポートしてください。
Export Clips
ボタンをクリックすると、エクスポート形式を設定するダイアログが表示されます。① Export Folder
- エクスポート先のフォルダを選択してください。② Name
- ファイル名のプレフィックスを設定してください。③ Quarity
- クリップ動画のエンコーディングクオリティを選択してください。以下から選択可能です。vMix AVI
- リプレイの録画形式と同じ vMix の独自形式です。再エンコードされず最も高速にエクスポートできます。 編集には使用できますが、YouTube 等に直接アップロードすることはできません。MP4 High Quality
- 高いクオリティで再エンコードします。vMix AVI よりファイルサイズは小さくなります。MP4 Medium Quality
- 中程度のクオリティで再エンコードします。更にファイルサイズが小さくなります。
④ Audio Channels
- 音声のチャンネル数を選択します。通常は2
で問題ないでしょう。その他4
が選択可能です。⑤ Events
- エクスポート対象のイベント。Selected
で選択したイベント、All
で全てのイベント。( )
の中にイベント数が表示されています。⑥ Export each event separately
- イベントごとにファイルを分ける場合にチェックを入れます。 チェックを外すと一つのファイルに結合されます。
Export
ボタンをクリックしてください。Export Folder
で指定したフォルダにファイルが出力されます。
5.3. クイックリプレイ
「Instant Replay」インターフェースを使わずとも、インプット上のインターフェースだけでクイックリプレイが可能です。
- リプレイ対象のシーンで
-5
あるいは-10
ボタンをクリックする - (Auto Play last Replay Event)ボタンをクリックする
- 最後に作成された イベントがリプレイ再生され、再生が終わるとライブ映像に戻る
- スライダーを操作すると再生速度を変更できます(スローモーション再生)
リプレイ再生中に
をクリックしないでください。最初から再度リプレイ再生されますが、再生終わりで自動的にライブ映像に戻らなくなります。 (これは恐らく戻り先が上書きされるため。本当はライブ映像に戻ってほしいがそうなっていない)
6. Instant Replay の制限
- Instant Replay はプリセットにつき 1 つのみ作成可能です。
- Instant Replay がインプットにある状態では MultiCoder が使用できません。両者の機能は排他になります。
7. 残された謎
Replay A、Replay B の使い方が、筆者はよくわかってません。 プレビューないしリプレイ再生するインプットを Replay A と Replay B あるいはその両方から選べて、 かつ、マルチアングルカメラの表示を A B に割り振れる様ですが、所有してる vMix エディションが 4K なので試すこともできず、 どの様に使えるのかは、今のところノーアイデアです。
8. 今回はここまで
以上、が Instant Replay のだいたいの使い方です。
筆者が持ってるエディションが 4K なので、マルチカメラアングルは詳しく解説できませんでしたが、 PRO 以上をお持ちの方は是非ご自身で試してみて頂けると幸いです。
次回は未定ですが、データソースあたりを説明しようかな?と考えていますが、気が変わるかもしれません。
それではまた!