niconicoとffmpegのことを中心に書いてる
2019年5月23日より、従来の getplayerstatus からの rtmp は受信できなくなり、WebSocket 経由の rtmpならまだ受信できたが、2019年5月30日より公式の生放送以外 WebSocket 経由の rtmp は受信できなくなった。
ニコ生の録画と配信方法の歴史にあるように2013年11月14日から2019年5月23日までの仕様である、ユーザー生放送の生放送とタイムシフト、チャンネル生放送の生放送には-Nオプションが必要で、ユーザー生放送のタイムシフトの保存には放送時間分だけ時間がかかっている。この仕様に対応した-Nオプションではなく新しいオプションも備えて機能も拡大した rtmpdump のテストバージョンを公開している。テストバージョンは少し前から公開しているが、使い方を整理したり、新しいオプションのバグ取りになどに時間を取られ今日の記事公開となった。
Continue reading “N を使わない新しいニコ生用の rtmpdump と ffmpeg(librtmp)”
集計期間は週間のニコ生統計の1ヶ月分である。2015年の1月の2週目から取得漏れの R-18 放送を含めて Vita API で取得し始めたのでそれ以前と比べて取得放送数が増えている。
前フレームのY差分をマスクしてフィルタを当てなくするモーションマスクの使い方。使うフィルタはtblendフィルタで前後フレームを1入力で取り込み、maskedmergeフィルタで1、2入力の割合を決めている。
連続フレームを読み込んでそれぞれを計算するtblend（time blend）フィルタの使い方。オプションはblendフィルタと同じ。
条件を指定するのに使う。
ffmpeg で使える評価式
ffmpeg 3.2 にリリースしたビデオフィルタ。ffmpeg のフィルタの中でかなり処理が重たい部類に入るエッジ保護のデノイザnlmeansフィルタの使い方。なぜこれほどまでに重たいかというとデノイズする部分を映像内容によって異なる処理をするために重たくなるから。詳しい処理内容は「non-local means filter」で検索する。
処理内容の紹介記事
Non-local Means Filterによるデノイジング | OpenCV.jp
Non-local Means Filterの実装 – Qiita
該当ソースコード：FFmpeg/vf_nlmeans.c at master · FFmpeg/FFmpeg
公式ドキュメント：FFmpeg Filters Documentation : nlmeans
2019年2月2日処理が見直され 1080p で 30% ほど高速化された。
lavfi/nlmeans: improve the performance：git.videolan.org Git – ffmpeg.git/commitdiff
ネット上で漫画を読めるサービスで画像のリンクを開いてみると、本来の映像の位置からバラバラに配置した画像が見られる。これを ffmpeg のswaprectフィルタを使って映像をバラバラに配置して同じ効果を求めてみる。
映像をたくさん分割すればするほど組み合わせが複雑になるが、フィルタチェーンの文字数制限がある（-f lavfi -graph -iで入力すれば制限がなくなる）ので無制限に分割できるわけではない。バラバラに分割して暗号化された映像を元に戻すには同じフィルタチェーンを逆順に設定すれば元の映像に戻すことができる。swaprectフィルタの他にもswapuvで UV を入れ換えたり、hflipで左右反転することでより難読化することができる。swaprectフィルタを多用してもそれほど負荷は上がらないので気にする必要は無いが、映像が難読化され圧縮しにくい映像になり容量が増える。
ffmpeg 3.2 でリリース予定のオーディオフィルタ。単純なアルゴリズムで音声のダイナミックレンジを広げるcrystalizerフィルタの使い方。
既定値のオプションを当てる
ffmpeg -i input -af crystalizer=i=2:c=1 output
ffmpeg -i input -af crystalizer=2:1 output
ffplay -i input -af crystalizer=2:1
ffmpeg 3.2 でリリースしたビデオフィルタ。隣り合うピクセルを平均化してぼかすavgblurフィルタの使い方。似たフィルタにgblurがあるが、こちらは縦横に伸ばしたように輝度差がわかりやすい。CPU または GPU に opencl が使えるとavgblur_openclフィルタが使える。
既定値のオプションを当てる
ffmpeg -i input -vf avgblur=sizeX=1:planes=15:sizeY=0 output
ffmpeg -i input -vf avgblur=1:15:0 output
ffplay -i input -vf avgblur=1:15:0
ffmpeg 3.2 でリリースしたビデオフィルタ。ガウシアンカーネルを使ってしてぼかすgblurフィルタの使い方。カーネルについてはconvolutionフィルタでも使えるが、具体的な内容は省略。似たフィルタにavgblurがあるが、こちらは満遍なくブラーを掛ける一般的なぼかしフィルタのイメージ。
既定値のオプションを当てる
ffmpeg -i input -vf gblur=sigma=0.5:steps=1:planes=15:sigmaV=-1 output
ffmpeg -i input -vf gblur=.5:1:15:-1 output
ffplay -i input -vf gblur=.5:1:15:-1
公式ドキュメント：FFmpeg Filters Documentation : gblur
ffmpeg 3.2でリリースしたビデオフィルタ。エッジ検出フィルタに単体ではedgedetectとfrei0rのsobelがあり、カーネルを指定するconvolutionでもエッジ検出ができるが、今回のこれらのフィルタはedgedetectよりもエッジ部分の線が太くconvolutionよりも手軽なのでマスクするのにも便利。sobelとprewitt、robertsはカーネルが少し異なるがオプションは同じである。
ffmpeg -i input -vf sobel=planes=15:scale=1:delta=0 output
ffmpeg -i input -vf sobel=15:1:0 output
ffplay -i input -vf sobel=15:1:0