ニコラボ

Netflixが使っている動きの評価に使われている VMAF（Video Multimethod Assessment Fusion）のモーションスコアを計算する。シーンチェンジ検出のscdetフィルタと似た傾向になるのでシーンチェンジを調べるならscdetフィルタの方が速い。アルゴリズムは平滑化から前フレームとの絶対差平均で、低周波寄りのフレーム変化量を調べている。同じように動きを見るsitiフィルタよりは速い。

VMAFを計算するフィルタは2つあり、このvmafmotionと./configure --enable-libvmafでライブラリをインストールして使えるlibvmafフィルタがある。前者は1つの映像の vmafモーションスコア（映像の変化）を計算し数値が 0 に近いほど前フレームからの変化が少ないことを示す。後者は2つの映像を比較した vmafスコア（品質評価）を計算し、ssim、psnrフィルタよりも見た目の評価（主観的評価）に近しいものを目指している。

• 新しい映像の品質評価 libvmaf
• 2つの映像の画質評価をする ssim
• 2つの映像の画質評価をする PSNR

そのほかの動きを検出するフィルタ。
シーンチェンジの時間を調べるscdet
特定の映像フレームや音声サンプルを出力するselect, aselect

基本コマンド

vmafモーションスコアを計算しエンコードが終わると平均 vmafモーションスコアをコンソールに表示する
ffmpeg -i input -vf vmafmotion -an -f null -

さらにフレーム毎の vmafモーションスコアを log.txt のテキストファイルで出力する
ffmpeg -i input -vf vmafmotion=log.txt -an -f null -

再生しながらコンソールに表示する。
ffplay input -vf vmafmotion,metadata=print:key=lavfi.vmafmotion.score

drawtextフィルタで映像にスコアを描写する。
ffplay input -vf vmafmotion,drawtext=y=40:fontfile=C\\://WINDOWS/Fonts/arial.ttf:fontsize=20:fontcolor=white:box=1:boxcolor=black@0.4:text='"vmafmotion ("%{metadata\:lavfi.vmafmotion.score})'

文字を描写する drawtext

drawgraphフィルタで映像の下にスコアを描写する。sで入力した映像と同じ幅を指定する。
ffplay -i input -vf split[0],vmafmotion,drawgraph=lavfi.vmafmotion.score:min=0:max=30:s=1920x256[1];[0][1]vstack

メタデータを映像化する drawgraph, adrawgraph

ffprobeでログを出力する。
ffprobe -v error -f lavfi -i movie=input.mp4,vmafmotion -select_streams v:0 -show_entries packet=pts_time -show_entries packet_tags=lavfi.vmafmotion.score -of csv > vmafmotion.csv

side_dataの行が不要ならgrepで削る。
ffprobe -v error -f lavfi -i movie=input.mp4,vmafmotion -select_streams v:0 -show_entries packet=pts_time -show_entries packet_tags=lavfi.vmafmotion.score -of csv > vmafmotion.csv

ffprobe の使い方

公式ドキュメント：FFmpeg Filters Documentation : vmafmotion

オプション

• stats_file[string]
  すべてのフレームの vmaf モーションスコアを表示したログファイルを指定したパスに出力する。–で標準出力する
  既定値：無指定（何も出力しない）

ffmpeg 3.4 から追加のフィルタ。直線上の YUV, RGB の平均値と最小値、最大値と波形が表示されるoscilloscopeフィルタの使い方。

Continue reading “直線上の YUV, RGB の値を表示する oscilloscope”

ffmpeg 3.4 から追加のフィルタ。矩形部分の YUV, RGB の平均値と最小値、最大値、RMS と矩形の拡大も表示されるpixscopeフィルタの使い方。

基本コマンド

映像中央の縦横7ピクセルを調べて、統計グラフを右下に表示する
ffmpeg -i input -vf pixscope=x=0.5:y=0.5:w=7:h=7:o=0.5:wx=-1:wy=-1 output
ffmpeg -i input -vf pixscope=0.5:0.5:7:7:0.5:-1:-1 output
ffplay -i input -vf pixscope=0.5:0.5:7:7:0.5:-1:-1

公式ドキュメント：FFmpeg Filters Documentation : pixscope

Continue reading “矩形部分の YUV, RGB の値を表示する pixscope”