FFmpeg 7.1リリース

2024年9月30日にFFmpeg 7.1 Péterがリリースされた。7.0以降に追加されたフィルタやデコーダ、エンコーダなどが追加されている。
Download FFmpeg
Commits · FFmpeg/FFmpeg · GitHub

🚨 FFmpeg 7.1 is out! 🚨

It has a VVC native decoder, an MV-HEVC decoder, an LC-EVC decoder, an xHE-AAC decoder, an IAMF decoder production ready, Vulkan hardware encoding, and many other features!https://t.co/iYElKHEgFk

— FFmpeg (@FFmpeg) September 30, 2024

気になる新機能

• vf_scale supports secondary ref input and framesync options
• vf_scale2ref deprecated
  • scaleフィルタで代替できるようになった
• qsv_params option added for QSV encoders
  • QSVの記事
• VVC decoder compatible with DVB test content
• xHE-AAC decoder
  • FDK-AACデコーダを使わずにデコードできるようになった
• VVC encoding support via libvvenc
• D3D12VA HEVC encoder
• Cropping metadata parsing and writing in Matroska and MP4/MOV de/muxers
• Intel QSV-accelerated VVC decoding
• MediaCodec AAC/AMR-NB/AMR-WB/MP3 decoding
• YUV colorspace negotiation for codecs and filters, obsoleting the YUVJ pixel format
• Vulkan H.264 encoder
  • gist
• Vulkan H.265 encoder
  • gist
• LCEVC enhancement data exporting in H.26x and MP4/ISOBMFF
  • LCEVC – Low Complexity Enhancement Video Coding – Doom9’s Forum
• LCEVC filter
  • 外部ライブラリによるデコーダも入っているが、エンコーダは別途ライセンス料が必要らしい
• MV-HEVC decoding
  • Appleの空間ビデオフォーマット。VR向け。x265では先月リリースしたv4.0でアルファチャンネルエンコードとMV-HEVCエンコードに対応した

New Vulkan encoders : ffmpeg

ここに含まれないフィルタにxpsnrがある。
視覚評価に重きを置いたxpsnr

MV-HEVC形式のエンコードは現状サイドデータをうまく渡せないのでMac ARMしか対応していない。-input-resの値はhstackした後の解像度ではなく、元の解像度を指定する。libx265はまだ対応していないのでx265に渡している。-video_track_timescaleはフレームレートを指定する。エンコードすると動画自体はVLCなどで再生はできるが、空間動画として再生はできない。

Command Line Options — x265 documentation
SpatialMediaKit/Tests/TestData/spatial_video.mov at main · sturmen/SpatialMediaKit · GitHub

ffmpeg -i spatial_video.mov -filter_complex [0:v:view:0][0:v:view:1]hstack -an -f yuv4mpegpipe - | x265 - --y4m --num-views 2 --format 1 --input-res 1920x1080 --output mv_output.hevc --fps 30 --profile main --colorprim bt709 --transfer bt709 --colormatrix bt709 --crf 28
ffmpeg -i mv_output.hevc -c copy -tag:v hvc1 -movflags +faststart -video_track_timescale 30 output.mov

• How To Encode MV-HEVC Video With FFmpeg | by Zachary Handshoe | Medium
• 360 virtual reality – Preserving Side Data information for 360 video transcoding using FFmpeg – Stack Overflow
• video – How to make Apple Vision Pro-compatible MV-HEVC files with x265 4.0 and ffmpeg 7.1? – Super User
• What are the metadata tags for 360 video, how do I set them from Blender / ffmpeg / script? : ffmpeg
• Any MV-HEVC encoders? – Doom9’s Forum
• 助力Vision Pro等3D应用，腾讯V265新增对MV-HEVC标准的编码支持-腾讯云开发者社区-腾讯云
• What is MV-HEVC – Streaming Learning Center
• iMac MiniでのApple Spatial Video変換
• 空間ビデオフォーマット、MV-HEVCが写し撮る世界 – Speaker Deck
• Reading and Writing Spatial Video with AVFoundation
• Converting side-by-side 3D video to multiview HEVC and spatial video | Apple Developer Documentation
• Reading multiview 3D video files | Apple Developer Documentation
• GitHub – sturmen/SpatialMediaKit: Create and split MV-HEVC video files on an Apple Silicon Mac.
• GitHub – Vargol/spatial-media: Specifications and tools for 360º video and spatial audio. Modified for Google’s VR180
• GitHub – google/spatial-media: Specifications and tools for 360º video and spatial audio.

それぞれの映像にアクセスする。

ffmpeg -i spatial_video.mov -map 0:v:view:all -map 0:a -c:a copy output.mov
ffmpeg -i spatial_video.mov -map 0:v:vidx:0 -map 0:a -c:a copy output.mov
ffmpeg -i spatial_video.mov -map 0:v:vidx:1 -map 0:a -c:a copy output.mov
ffmpeg -i spatial_video.mov -map 0:v:vpos:left -map 0:a -c:a copy output.mov
ffmpeg -i spatial_video.mov -map 0:v:vpos:right -map 0:a -c:a copy output.mov

ffmpeg Documentation : Advanced options

今まで多くのフィルタ実装を行っていたPaul氏（githubアカウント名：richardpl）がメンテナンスしているlibrempegもある。
GitHub – librempeg/librempeg: A complete, cross-platform solution to record, convert, filter and stream audio and video.
MAINTAINERS: remove myself from here · FFmpeg/FFmpeg@d311148 · GitHub

前回記事：FFmpeg 7.0リリース
7.0以降に取り込まれた機能の一覧：Changelog 7.0 to 7.1 < git.videolan.org Git
ffmpeg -filters using Gyan ffmpeg · GitHub