FFmpeg криво работает, помимо него у gstreamer есть нормальные зависимости без этого мусора. И например можно включить nvdec для всех приложений объявив переменную и он должен работать, но у меня крашатся и vaapi и nvdec и ffmpeg -- не могу проверить. При запуске через gst-launch или как там его nvdec работает и vaapi нет. В теории gstreamer проще и прозрачнее, и не делает то, что от него не просили.