niconicoとffmpegのことを中心に書いてる
ffmpeg 5.1から使えるフィルタ。SI（Spatial Info：空間情報、フレーム内）とTI（Temporal Info：時間情報、フレーム間）の知覚情報のスコアを調べるsitiフィルタの使い方。SIは複雑なシーンほど数値が高くなる。似たフィルタにentropyフィルタがある。TIはフレーム間の動きの変化が多いほど数値が高くなる。アニメのように動かないと0になる。
映像のエントロピーを調べるentropy
各チャンネルのノイズ係数を調べる bitplanenoise
実装した論文：P.910 : Subjective video quality assessment methods for multimedia applications
論文の最新版：P.910 : Subjective video quality assessment methods for multimedia applications
映像の品質評価に使われるフィルタなど。
fieldhintフィルタで手動インターレース解除しH.264のハードウェアエンコードする。手動インターレース解除するとぎりぎり1倍速以上出るので縞フレームの場所が分かればライブ配信にも使える。patternオプションは2022年3月15日に追加されたものなのでffmpegはソースコードからビルドする。
jc-kynesim/rpi-ffmpeg: FFmpeg work for RPI
手動でフィールド処理を行う fieldhint
Continue reading “Raspberry Pi 4 Model Bの64bit OSでインタレ解除してHWエンコードする”
ピクセルフォーマットを変換するformatフィルタと、サンプルフォーマットとサンプルレートを変換するaformatフィルタの使い方。
RGBベースの色相を変更できるhuesaturationフィルタの使い方。YUVベースはhueフィルタ。タイムライン編集に対応。
映像のデノイズにもあるNon-Local Meansアルゴリズムを音声のノイズ低減に使う。こちらも処理負荷が高く効果は絶大。
3dBポイントの周波数でフィルタを適用する。フィルターは単極、または両極のいずれかが選択できる。フィルタのロールオフ（減衰傾度）は、1オクターブあたり6dB/極になる。周波数毎に無音にするにはsuperequalizerフィルタなどを使う。
入力した音声のサンプリング周波数より高ければ高音に、低ければ低音に変える。出力周波数は変更した周波数に変わるのでオプションの-arか、aresampleフィルタで目的の周波数に変更する。
ピッチ変更はrubberbandフィルタでもできる。
サンプリング周波数を変えずにテンポとピッチを変える rubberband
異なる伝達関数に変換するときに使い、事前に線形変換が必要。ピクセルフォーマットはgbrpf32leになるので負荷はかなり大きい。
論文：https://www.researchgate.net/publication/275213614_A_New_Color_Correction_Method_for_Underwater_Imaging
参考記事：New grayworld video filter in FFmpeg 5.0 – Doom9’s Forum