После более года разработки состоялся (https://lists.freedesktop.org/archives/gstreamer-devel/2019-... релиз GStreamer 1.16 (http://gstreamer.freedesktop.org/), написанного на языке Си кроссплатформенного набора компонентов для создания широкого спектра мультимедиа приложений, от медиаплееров и конвертеров аудио/видео файлов, до VoIP-приложений и систем потокового вещания. Код GStreamer распространяется под лицензией LGPLv2.1. Одновременно доступны обновления плагинов gst-plugins-base 1.16, gst-plugins-good 1.16, gst-plugins-bad 1.16, gst-plugins-ugly 1.16, а также обвязка gst-libav 1.16 и сервер потокового вещания gst-rtsp-server 1.16. На уровне API и ABI новый выпуск обратно совместим с веткой 1.0. Бинарные сборки в скором времени будут подготовлены (http://gstreamer.freedesktop.org/download/) для Android, iOS, macOS и Windows (в Linux рекомендуется использовать пакеты из дистрибутива).
Ключевые улучшения (http://gstreamer.freedesktop.org/releases/1.16/) GStreamer 1.16:- В стек WebRTC добавлена поддержка P2P каналов данных, реализвоанных с использованием протокола SCTP, а также поддержка механизма BUNDLE (https://webrtcglossary.com/bundle/) для отправки разных типов мультимедийных данных в рамках одного соединения и возможность работы с несколькими серверами TURN (расширение STUN для обхода трансляторов адресов);
- Добавлена поддержка видеокодека AV1 в контейнерах Matroska (MKV) и QuickTime/MP4. Реализованы дополнительные настройки AV1 и расширено число поддерживаемых кодировщиком форматов входных данных;
- Добавлена поддержка скрытых субтитров (https://ru.wikipedia.org/wiki/%D0%A1%D0%... а также возможность определения и извлечения из видео других видов интегрированных данных ANC (https://en.wikipedia.org/wiki/Ancillary_data) (Ancillary Data, дополнительная информация, такая как звук и метаданные, передаваемая через цифровые интерфейсы в неотображаемых частях строк развёртки);- Добавлена поддержка некодированного (raw) звука без чередования звуковых каналов в памяти (Non-Interleaved, левый и правый звуковые каналы размещаются в отдельных блоках, вместо чередования каналов в виде "LEFT|RIGHT|LEFT|RIGHT|LEFT|RIGHT");
- В базовый набор плагинов (gst-plugins-base) перемещены GstVideoAggregator (https://gstreamer.freedesktop.org/data/doc/gstreamer/head/gs... (класс для смешивания raw-видео), compositor (https://gstreamer.freedesktop.org/data/doc/gstreamer/head/gs... (усовершенствованная замена videomixer) и элементы OpenGL mixer (glvideomixer, glmixerbin, glvideomixerelement, glstereomix, glmosaic), которые ранее размещались в наборе "gst-plugins-bad";
- Добавлен новый режим (https://gstreamer.freedesktop.org/data/doc/gstreamer/head/gs... чередования полей, в котором каждый буфер обрабатывается как отдельное поле в чересстрочном видео c разделением верхнего и нижнего полей на уровне привязанных к буферу флагов;
- В распаковщик медиаконтейнеров Matroska добавлена поддержка WebM и шифрования содержимого;- Добавлен новый элемент wpesrc, работающий как браузер на базе движка WebKit WPE (https://webkit.org/wpe/) (вывод браузера как источник данных);
- Для Video4Linux обеспечена поддержка кодирования и декодирования HEVC, кодирования JPEG и улучшенного импорта и экспорта dmabuf;
- В декодировщик видео, использующий средства аппаратного ускоренная GPU NVIDIA, добавлена поддержка декодирования VP8/VP9, а в кодировщик поддержка аппаратно ускоренного кодирования H.265/HEVC;
- Внесены многочисленные улучшения плагин msdk, позволяющий использовать средства аппаратного ускорения кодирования и декодирования на чипах Intel (основан на Intel Media SDK). В том числе добавлена поддержка импорта/экспора dmabuf, декодирования VP9, кодирования 10-разрядных HEVC, постобработки видео и динамического изменения разрешения;.- В систему отрисовки субтитров ASS/SSA добавлена поддержка обработки нескольких пересекающихся субтитров, одновременно отображаемых на экране;
- Обеспечена полноценная поддержка сборочной системы Meson, которая теперь рекомендована для сборки GStreamer на всех платформах. Удаление поддержки Autotools ожидается в следующей ветке;
- В основной состав GStreamer включены биндинги для разработки на языке Rust и модуль с плагинами на Rust;
- Проведена оптимизация производительности.URL: https://lists.freedesktop.org/archives/gstreamer-devel/2019-...
Новость: https://www.opennet.dev/opennews/art.shtml?num=50542
не, ребята, зря стараетесь - мазила к вам не вернется, а больше вы вообще нафиг никому не упали.
Да ладно, достаточно только того, что на него QtMultimedia завязан. Про потроха гнома даже говорить не будут.
>QtMultimedia завязан.Не так уж он сильно на него завязан, что вполне может обходиться и без оного
[ebuild R ] dev-qt/qtmultimedia-5.11.3:5/5.11::gentoo USE="alsa qml widgets -debug -gles2 -gstreamer -openal -pulseaudio -test" 0 KiBTotal: 1 package (1 reinstall), Size of downloads: 0 KiB
В условном арче с этой гадостью почти вся мультимедия собирается, которая в него хоть теоретически умеет. Благо, выпиливается достаточно легко. У меня, кажется, только с qt5 были какие-то сложности, но не сложно решаемые.
Так что про мозиллу, боюсь, преувеличение, к сожалению.
s/преувеличение/преуменьшение/g
> В условном арче с этой гадостью почти вся мультимедия собирается, которая в него хоть
> теоретически умеет."если бы еще и работала!"
хрюкать и тормозить-то, понятно, может. (ну и внезапно-исполнить пару куплетов песенки как код)
вот пока у мазилы без них вообще не было ни звука ни видео - оно жило себе неплохо. К счастью, мазиле надоело раньше, чем те смогли поддержку vaa.
Я использую Gstreamer ровно для одного: кодирование видео с экрана при помощи Intel GPU. На ЛОРе публиковали патч для gstreamer-plugins-good, который значительно снижает использование CPU при этом. Правда, я не знаю, применяется ли он к новым версиям Gstreamer. Но к 1.2 - 1.8 точно
> Одновременно доступны обновления плагинов..., а также обвязка gst-libav 1.16А почему не gst-ffmpeg? В чём сейчас отличие libav и ffmpeg друг от друга, кто у кого заимствует код?
ffmpeg у libav, ибо libav больно уж гордые.
ffmpeg и пилит, и берёт; libav -- ну... в общем, я до сих пор считаю то, что в альте на какое-то время на него переходили, ошибкой, о чём и тогда майнтейнеру говорил ("эти дятлы из дебиана пусть сами мучаются, нам-то зачем?"). Клинический пример недружественного и не слишком компетентного форка, увы.
Дятлы из дебиана? Где дебиан а где альт? Клювом не ударился об дерево?
Те, кто перекатывал дебиан на libav - самые настоящие дятлы. Того же уровня, что и системдфанатики, саботировавшие голосование по init до тех пор, пока не выпал удобный для них шанс. То, что дебиан - крупный и уважаемый проект не отменяет того факта, что часть из его мейнтейнеров - дятлы.
> Дятлы из дебиана?Да, дятлы из дебиана.
> В основной состав GStreamer включены биндинги для разработки на языке Rust и модуль с плагинами на Rust;Сначала модуль на rust, а потом и весь gstreamer захотят переписать на rust, тихая и незаметная экспансия, ишь чего удумали.
Не будет этого, это не го. Биндингов достаточно что бы работать, а переписывать смысла нет что и так работает.
>а переписывать смысла нет что и так работаетвообще-то есть. Gstreamer формально написан на C, но на самом деле там куча объектных оберток и велосипедов для реализации интерфейсов, атомного подсчета ссылок, автоматического освобождения памяти, и т.п. Переписывание на язык, в котором все это есть прямо в стандартной библиотеке, позволит выкинуть на мороз кучу кода. А чем меньше кода, тем меньше багов.
> Не будет этого, это не го. Биндингов достаточно что бы работать, а
> переписывать смысла нет что и так работает.это если бы оно работало хорошо. Ну а так - возможно, от переписывания хуже не станет.
Не троллинга ради, может кто объяснить, почему вы так старательно боретесь с gstreamer?
А зачем он нужен, когда есть ffmpeg?
Тем более что в и около gstreamer постоянно находят какие-то проблемы с безопасностью.
Зачем нужен ффмпег? У тебя приложения используют ффмпег?
Для кодирования/декодирования всякой мультимедии.
Самому мне по работе не приходится писать ничего с этим связанного, поэтому программы, использующие ffmpeg (или gstreamer) я не писал.
Из того, чем я пользуюсь, ffmpeg ипользует как минимум mpv, palemoon, который я ранее использовал, тоже, ЕМПНИП, умел собираться с ffmpeg. Я, правда, всегда собирал без (да просит меня мунчайлд) - смотреть видео в браузере - это харам.
Ещё по работе приходилось видеть ПО (проприетарное), использующее ffmpeg. Насколько я знаю, вопрос про использование gstreamer вместо даже не стоял.
Справедливости ради, по всему мультимедийному стеку что-то сходу не припомню djb-style библиотек.PS: "ну вот, только собрал 1.15.90!" (правда, на e2k ;-)
PPS: ага, тем временем майнтейнер 1.16.0 обеспечил: https://packages.altlinux.org/ru/sisyphus/srpms/gstreamer1.0...
> Справедливости ради, по всему мультимедийному стеку что-то сходу не припомню djb-style библиотек.Ну да, в ffmpeg тоже дыры были, и не раз и не два. Но, ИМХО, ситуация с gstreamer и его плагинами в этом плане намного хуже. Тем более, что там есть плагин и для ffmpeg, т.е. его дыры приплюсовываются в ряде ситуаций)
> правда, на e2k ;-)
Раз уж зашла речь: слушал вчера лекцию МЦСТ, некоторые новости о прогрессе удивили и порадовали. Респект. Жаль там только пока один лишь богомерзкий линукс из опенсорсных ОС. Надеюсь, когда-нибудь это тоже изменится в лучшую сторону.
>> правда, на e2k ;-)
> Раз уж зашла речь: слушал вчера лекцию МЦСТКоторую из? Просто в четверг как раз была по оптимизации.
> Жаль там только пока один лишь богомерзкий линукс из опенсорсных
> ОС. Надеюсь, когда-нибудь это тоже изменится в лучшую сторону.Гм, а это что?
http://www.kpda.ru/products/elbrus/ (QNX же вроде?)
http://habr.com/ru/company/embox/ (конкретно две верхние на сейчас статьи)Вот фряшники регулярно ноют в кАментах у Горшенина, ага. Приходится показывать на ми-минор-коробку и говорить: "а вот они взяли и сделали".
PS: ну и знаю монастыри, где линукс вполне себе применяют давно, уже поэтому так квалифицировать его я бы не стал.
> Которую из? Просто в четверг как раз была по оптимизации.Пятничную.
>> Жаль там только пока один лишь богомерзкий линукс из опенсорсных ОС. Надеюсь, когда-нибудь это тоже изменится в лучшую сторону.
> Гм, а это что?
> http://www.kpda.ru/products/elbrus/ (QNX же вроде?)
> http://habr.com/ru/company/embox/ (конкретно две верхние на сейчас статьи)Не знал, что QNX опенсорсный. Ну ок.
> Вот фряшники регулярно ноют в кАментах у Горшенина, ага. Приходится показывать на ми-минор-коробку и говорить: "а вот они взяли и сделали".
Показывать на что?
Промышленной необходимости у меня нет, да и квалификации не хватит. Хотя планирую развивать свои умения в подобном направлении.
Короче, я просто ещё раз поныл про закрытую архитектуру, понятно, что под NDA/за деньги всякое можно.> PS: ну и знаю монастыри, где линукс вполне себе применяют давно, уже поэтому так квалифицировать его я бы не стал.
Я, в общем-то, понимаю почему выбор именно такой. И согласен, что он если и не лучший, то точно весьма и весьма адекватный. См. выше про нытьё, короче.
>> Которую из? Просто в четверг как раз была по оптимизации.
> Пятничную.В другом месте работаю. :)
> Не знал, что QNX опенсорсный. Ну ок.
Ой, и впрямь промахнулся.
>> Не знал, что QNX опенсорсный. Ну ок.
> Ой, и впрямь промахнулся.Т.е. всё-таки нет - теперь и я проверил. Сначала не проверял - удивился, ну мало ли, вдруг открыли.
> Тем более, что там есть плагин и для ffmpeg, т.е. его дыры приплюсовываются в ряде ситуаций)а ты умён
Я с ним не борюсь, но на всех, кто его использует в разработке, косо смотрю с подозрением. Мне нужно было доделать программу, чтобы она могла:
1. Захватывать rtsp потоки с нескольких камер.
2. Выводить их на экран.
3. Сохранять их в файлы.
4. Иногда сохранять текущие кадры как jpeg.
Всё это должно работать круглосуточно и почти автономно. Суть GStreamer: создаёшь pipeline который содержит все необходимые операции, запускаешь его и он всё делает(плодит потоки, передаёт между ними данные...). В теории, выполнение pipeline завершается успехом или ошибкой(единственный вариант для непрерывной работы). При ошибках его перезапускаем и всё шоколадно...
Боль и страдания в реальности:
1. Ошибка в любом элементе pipeline роняет его весь. Происходит ошибка при сохранении в файлы, работать не будет и вывод на экран, пока причина ошибки не будет устранена. Нет смысла перезапускать, если ошибка немедленно повторяется.
2. Сообщение об ошибках бывают загадочны. Моё любимое: "some element failed to post a proper error message with the reason for the failure."
3. Самое чудесное, что pipeline может зависнуть. Наивно думать, что можно сделать ему стоп/старт. В большинстве случаев сработает, конечно, а в меньшинстве получим ошибку из пункта 2.
После недель страданий с GStreamer, сделал за примерно 4 дня на ffmpeg.
Могу примерно такие же ощущения рассказать с точки зрения пользователя. Лет семь назад пытался использовать следующий набор вещей: rtsp, камеры, мультикаст вещание, бродкаст вещание. Что-то удалось собрать только на основе ffmpeg, и частично vlc. Всё остальное увы, или сразу рушилось, или рушилось в течение нескольких минут. Вариант решение был только рестарт всего этого набора костылей. После этого на всё gstreamerовое смотрю очень плохо.
> Ошибка в любом элементе pipeline роняет его весь...
> Сообщение об ошибках бывают загадочны...Неосиляторы не осилили документацию. Так это называется.
Так почему же вы не процитировали, что в документации написано про зависший pipeline, который нельзя остановить? Многим людям могли бы помочь и с легкостью разбить мой основной аргумент. Ну и метод определения причины "some element failed..." тоже можно процитировать. Или ваш пост - простое газирование лужи?
> Так почему же вы не процитировали, что в документации написано про зависший pipeline...Наверное, потому, что таких случаев может быть не один, а одного универсального решения на все случаи жизни не существует.
> Многим людям могли бы помочь и с легкостью разбить мой основной аргумент.
Обычно те, кто занят делом, не вступают в дискуссии, где требуется телепат. GStreamer - низкоуровневая штука, оперирующая буферами и своими собственными аллокаторами, со всеми вытекающими - надо сначала читать документацию, а потом что-то делать. Не нравится инструмент - не пользуйтесь.
> Ну и метод определения причины "some element failed..." тоже можно процитировать.
Обычно это случается из-за разсинхронизации элементов, но есть и много других вариантов. Если нет желания читать про синхронизацию элементов внутри pipeline и прочие низкоуровневые штуки, есть куча разных bin, автоматизирующих работу с буферами и связями элементов между собой. Кроме того, есть разного рода события, на которые можно реагировать и смотреть что именно происходит.
> Или ваш пост - простое газирование лужи?
Вы серьёзно ждёте реальных ответов после таких вопросов???
> Обычно те, кто занят делом, не вступают в дискуссии, где требуется телепат.А дела как-то не ощущаются, только трёп, что в документации всё есть. Столько текста настрочили, а метод решения возникающих проблем не привели. Вместо преодоления трудностей, я выбрал инструмент без них. В первый момент выбора я испугался ffmpeg, поскольку у него просто нет документации для программиста, кроме автосгенеренной по комментариям в коде. Но мне хватило двух примеров использования, которые идут в комплекте, и немного гугла. Если возникнет сложная задача, не покрываемая примерами, то и с ffmpeg у меня будут проблемы. Но простая задача на нём имела простое решение.
Мне без разницы, кто чем пользуется, и я сваливаю. Но раз вы такой практик и человек дела, то для других людей можете привести свой опыт, где gstreamer показал себя лучше чем ffmpeg?
> Вместо преодоления трудностей, я выбрал инструмент без них.О чём, собственно, я и говорил.
На сайте производителя есть специальная статья Application Development Manual (Read this first). В скобках для тех, кто не знает, куда смотреть.Вот хорошая цитата из офицтального FAQ:
Q: I'm considering adding GStreamer output to my application...
A: That doesn't really make sense. GStreamer is not a sound server, so you don't output directly to GStreamer, and it's not an intermediate API between audio data and different kinds of audio sinks. It is a fundamental design decision to use GStreamer in your application; there are no easy ways of somehow 'transfering' data from your app to GStreamer (well, there are of course, but they would be reserved for special use cases). Instead, your application would have to use or implement a number of GStreamer elements, string them together, and tell them to run. In that manner the data would all be internal to the GStreamer pipeline.
Preliminary readingIn order to understand this manual, you need to have a basic understanding of the C language.
Since GStreamer adheres to the GObject programming model, this guide also assumes that you understand the basics of GObject and glib programming. Especially,
GObject instantiation
GObject properties (set/get)
GObject casting
GObject referencing/dereferencing
glib memory management
glib signals and callbacks
glib main loop
осилятор документации рассказывает программисту, как чтение приводит к просветлению и чудесному избавлению от зависаний (чужого багнутого) кода.
Сыр, масло, холст.
Gstreamer по функциональности очень гибкий, но непонятно, как его правильно использовать во многих ситуациях, и его хрен отладишь.
В примерах описываются только простые случаи использования, типа построили pipeline, запустили его, он закончился, завершаем программу. Как правильно перестраивать пайплайн, когда нужно, чтобы один файл за другим играл, как получать метаданные потока, как правильно уничтожать элементы — всё приходится выяснять самостоятельно, методом проб и ошибок, и не факт, что вы делаете это 100% правильно.Пайплайн запускается, но ничего не происходит? Stalled pipeline — типичная проблема gstreamer. Как правильно исправлять, или хотя бы отлаживать — непонятно. Нужно кодировать видео через x264? Строишь пайплайн, запускаешь, иногда работает, иногда нет. Почему? Потому, что входной буфер уже содержит много данных, и больше не хочет грузить, а x264 еще не выдал ни одного кадра, т.к. хочет больше данных для эффективной работы.
https://gstreamer.freedesktop.org/data/doc/gstreamer/head/gs...
>Some settings, including the default settings, may lead to quite some latency (i.e. frame buffering) in the encoder. This may cause problems with pipeline stalling in non-trivial pipelines, because the encoder latency is often considerably higher than the default size of a simple queue element. Such problems are caused by one of the queues in the other non-x264enc streams/branches filling up and blocking upstream. They can be fixed by relaxing the default time/size/buffer limits on the queue elements in the non-x264 branches, or using a (single) multiqueue element for all branches. Also see the last example below. You can also work around this problem by setting the tune=zerolatency property, but this will affect overall encoding quality so may not be appropriate for your use case.Вот и получается, что фреймворк сам по себе мощный и крутой, но из-за отсутствия нормальных примеров комплексного использования и внятной документации пораждают программы, неправильно его использующие, из-за чего кажется, что сам фреймворк плохой.
> Gstreamer по функциональности очень гибкийАга, такой гибкий, что из рук выскальзывает.
> фреймворк сам по себе мощный и крутой, но из-за отсутствия нормальных примеров комплексного использования и внятной документации пораждают программы, неправильно его использующие, из-за чего кажется, что сам фреймворк плохой.
> мощный и крутойЭто называется "оверинжиниринг".
> Как правильно исправлять, или хотя бы отлаживать — непонятно...
> ...из-за отсутствия нормальных примеров комплексного использования и внятной документации...Ещё один документацию не нашёл. Её навалом, вместе с примерами кода и статьями с объяснениями конкретных моментов. И это всё на сайте производителя.
потому что это системд от мира мультимедиа фреймворков
вы перепутали, это гном ;-)
Причем гнома-то, что характерно, ни разу и не жалко.
Потому что это сложный фреймворк. А дураку всё что сложно, всё плохо.Когда я последний раз трогал GStreamer структура его работы мне сильно-сильно напоминала DirectShow с тем лишь отличием, что не определяет высокоуровневое API над физическими устройствами. Имхо, зря, если бы взял на себя ответственность его определять еще в конце 90-х, никакой пульсы бы не было и в помине, но тогда бы он совсем бы превратился бы в DirectShow по уровню монструозности, и ненависти дураков было бы сравнимое количество с вендовой реальностью. Phonon - это просто NIH от KDE, мне не понятен его смысл существования, сейчас это хотябы крестовая обвязка в Qt, а до этого... С ffmpeg и прочими vlc сравнивать бессмысленно, совсем разный круг задач.
Особенно смешон тот факт, что GStreamer (GNOME Streamer) используют KDE'шники и Qt-разработчики.Без GNOME'овских технологий и шагу ступить не могут, при этом хейтят GNOME. Лицемерные.
А glibc - это Gnome Libc?
glibc - конечно нет. А вот Glib и прочие GObject - таки да.
Дуплик, проснись, ты обоср^W^W^W ты путаешь пользователей и разработчиков. Разработчикам без разницы, гномовское оно или нет.
Дуплик, не звезди, основной рекомендуемый мейнстримом KDE бекенд для мультимедиа Phonon-VLC.
Это да, но> Upstream prefers VLC but prominent Linux distributions (Kubuntu and Fedora-KDE for example) prefer GStreamer because that allows them to easily leave out patented MPEG codecs from the default installation
Плеер прикольный на этом фреймворке, gst123 называется. Чистый минимализм )
> Плеер прикольный на этом фреймворке, gst123 называется. Чистый минимализм )угу, самокат с движком в виде небольшого комплекса зданий площадью в двадцать квадратных километров, где располагаются термоядерный реактор и системы его запуска. Чистый минимализм.
>> Плеер прикольный на этом фреймворке, gst123 называется. Чистый минимализм )
> угу, самокат с движком в виде небольшого комплекса зданий площадью в двадцать
> квадратных километров, где располагаются термоядерный реактор и системы его запуска. Чистый минимализм.но если от этого движка запитаны все самокаты и билазы в системе, то норм
или речь о том что оно при работе жрёт как турбина?
оно установлено на бетонном фундаменте, обнесено слоями биологической защиты, и электроэнергию покамест не вырабатывает, а жрьот - зато гигаваттами.
Поэтому самокаты покамест ездют не очень далеко и не очень быстро, но это, конечно же, временно, мы работаем над этой проблемой ;-)При этом те что состояли из пары колес и платформы с рулем давным-давно исчезли за горизонтом, но они неправильные и мы с теми ребятами дружить не будем.
Отличная штука. Запилил с его помощью видеонаблюдение: CPU 5-8 -летней давности нагружен на 2% для одной камеры. В итоге, сервак, который можно было только выбросить (Opteron 2352) легко тащит 100 камер: запись на диск и онлайн просмотр.
Присоединяюсь. Решал подобную задачу. Пришлось, конечно, повозиться, но результат того стоил
> Присоединяюсь. Решал подобную задачу. Пришлось, конечно, повозиться,
> но результат того стоилНе пробовали причесать и выложить результат? Глядишь, уже второй бы нашёл и чего доработал, что пригодилось бы впоследствии и первому.
Вот знакомый как сделал:
https://packages.altlinux.org/ru/p8/srpms/vargus
https://packages.altlinux.org/ru/p8/srpms/vargus-viewer