Компания Intel опубликовала выпуск проекта oidn 2.1 (Open Image Denoise), развивающего коллекцию фильтров для устранения шумов на изображениях, подготовленных с использованием систем рендеринга на основе трассировки лучей. Open Image Denoise развивается как часть более крупного проекта oneAPI Rendering Toolkit, нацеленного на разработку средств программной визуализации научных расчётов (SDVis (Software Defined Visualization), включающих библиотеку трассировки лучей Embree, систему фотореалистичной отрисовки GLuRay, платформу распределённой трассировки лучей OSPRay и систему программной растеризации OpenSWR. Код написан на языке С++ и опубликован под лицензией Apache 2.0...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=59917
«Капитан, увеличьте и улучшите изображение!»Сценки из кино про шпионов все ближе к реальности.
Ага, и увеличивает из одного пикселя, делая читаемым номерной знак. XD
Технически у каждой цифры различное количество белого и черного цвета и если пиксель имеет достаточное количество градаций серого то вычислить цифру реально с неким процентом погрешности
это - если автомобиль в кадре стоял на чётко горизонтальной поверхности...
Можно предположить, к каким искажениям привело то, что он нечётко стоит.
В номерном знаке вообще-то несколько букв и цифр.
искажения волнового фронта из за неоднородностей воздуха, несовершенства объектива сенсора, дробового шума, теплового шума просто не учитываем. Удобно.
До сих пор тащит clang15 в зависимостях? Держать десяток шлангов как-то утомительно, они ещё и компилируются вечность при обновлении. Ну и убермыльный денойзер на фейковых моделях, определённо не стоит того.
А вот скажите мне, коллеги сантехники. Как убрать чирки с красного капота, понятно.Но как сделать из размытого шумом номера цифры, или из пикселей литсо восстановить?
Это ни одна алгоритма не может, не с чего восстанавливать, данных нет.
ESRGAN делает ровно это и работает по тому же принципу, что и сабж -- подрисовывает, что нагалюционировал.
Сабж скорее всего в каждом пикселе сравнивает небольшую окрестность и выбирает что-то среднее - шум, который в меньшистве сильно выбивается и поэтому картинка разглаживается. Так что никаких своих галлюцинаций - все из исходной картинки(код не смотрел, но вангану размытие Гаусса/медианой)
Нейронки всегда галлюцинируют, сабж не исключение.
Я и говорю, собрать окрестность и экстраполировать умели и 100500 лет назад, ничего особо нового тут нет.Но например 4х пикселей вернуть цифру, это никак. Нельзя достать данные из отсутствия данных.
Из отсутствия данных нет.
Но можно добавить данных.
Например при размытии частенько используются стандартные алгоритмы и стандартные свёртки. Подобрав банальным перебором параметры можно из десятка окружающих замыленных пикселей восстановить исходные. Тоже самое и с остальными 100 пикселями, вот и цифра.
Далее. Арабская цифра это не что-то случайное, а вполне конкретный набор силуэтов со своими закономерностями. Например увидя на первой половине цифры круг, можем утверждать что целиком это либо 6, либо 8, а разделённый круг это 3 или 5. Если знать исходный шрифт, то можно делать более точные предположения и например у автомобильных знаков вполне определённый шрифт с определённым расположением символов.
Далее. Можно сравнить предположительные варианты с базой номеров и убрать ещё не выданные варианты, достоверно неподходящие варианты (например номера выданные для другой модели машины или номера зафиксированные в другом городе в это же время).
Скорее всего уже на этом этапе вариантов не осталось. Но вообще можно копать глубже - свет отражается по разному от разных поверхностей, спрогнозировав отражение от белой и чёрной краски по световому отсвету можно и не видеть сам номер.
Камеры при фотографировании считывают свет на матрице. Просчитав физику света на известной линзе и известной матрице, в известное время (по доте снимка) в известном месте и с известной погодой и окружением можно предположить больше деталей. То же касается алгоритмов сжатия.
Можно учитывать несколько кадров во времени(возможно пиксели на них немного отличаются, что тоже может раскрывать номер).
У камеры может быть инфракрасный снимок который по-другому распространяется и тоже добавляет информации.
В общем тут больше вопрос в сложности, ресурсах и фантазии, чем в невозможности.
Вы подтвердили мои слова о том, что можно вытянуть данные только тогда, когда данные есть. Вы тут же накидали каких-то дополнительных данных, из которых можно получить информацию. Но это частные случаи, которые частно и работают.Например. Есть машина конкретной марки и цвета, и подмножество номеров, которые на такие машины выдавались. Ну ок. А если номер подменен?
Да, также можно прикинуть в какие картинки происходит сжатие и попытаться вернуть обратно. С номером (это довольно простой формализованный набор) это худо бедно может пройти. С лицом или чем-то сравнимым по сложности
уже нет.
номер можно подкрасить, и человек распознает одно, а из восстановленных данных поога распознает другое, лчень удобно как по мне, пусть будет
Только хотел про нейоонки и ESRGAN написать, но похоже все в курсе.
> Это ни одна алгоритма не может, не с чего восстанавливать, данных нет.Люди склонны недооценивать объем информации отвисающий в младших битах, и визуально зачастую страшнее чем оно есть с точки зрения извлечения полезной информации. Так что мувики про шпионов конечно преувеличивают но только до известного момента.
это было в античную эпоху до блочных кодировщиков с потерями, с тех пор за счастье чтобы хоть немного бит оставили для градиента в пол экрана.
> это было в античную эпоху до блочных кодировщиков с потерями, с тех пор за
> счастье чтобы хоть немного бит оставили для градиента в пол экрана.И даже блочный кодировщик может оставить больше инфо чем вам кажется на глаз. Как насчет факта что блок может оказаться достаточно уникальным для конкретной цифры? И вот вроде бы по пикселам и не реконструировали от и до, выглядит как УГ. Но оно нам было нафиг не надо, ведь нас интересовали цифры. Всего 10 разных состояний надо отличить. И если на каждую цифирь попало хотя-бы по десятку пикселей, оно и DCT какой, пожалуй, переживет в декодабельном виде.
Ну а с камерами по 30+ мегапикселей в каждой дыре, получить десяток пикселей на цифру в общем то достаточно реально. И вот уже - почти как джеймсбонд. Ну а кого сейчас ботинок-телефон удивит? Сейчас простую звонилку даже в габариты часов встраивают. И придурок звонящий по ботинку выглядит уже архаично - взял бы часы, не палился :). Ну вот и с камерами и картинками такая фигня. Я например обычным ffmpeg видео на которых нифига не разобрать в оригинале до вполне смотрябельных подрихтовал. Хомяки конечно удивлялись что так можно было - но никакой джеймсбондианы в пачке фильтров ffmpeg точно нет. И даже вот блоки - мешались конечно денойзеру, но хороший постпроцессинг еще и не такое вытягивает.
не может ибо сама суть в отбрасвании и лютой потери точности. Исходный сигнал всегда с шумами, кое как удалось что то там зафиксировать в сенсоре и тут опа - нам на помощь летит блочный кодировщик с потерями и еще раз отбрасывает биты. В итоге мазня низкочастотная да еще и постеризация.
Можно сделать, нейронки кстати генерирующие изображения ровно это и делают...
Но есть и другие подходы.
Кстати, Интел наконец-то выпустили Arc A580.
А учитывая, что её там продают за ~ $180 то вообще красота.
Удачи запустить любую игру на dx9 или бета-тестить на 11
https://opennet.ru/58287-dxvk
Уже поправили, плюс сам тестирую каждую версию:
https://videocardz.com/sections/drivers
Замыленные не по гауссу лица на фото можно восстанавливать?
можно... но никто же не гарантирует, что оно будет совпадать с тем что было... но 99% населения этого не понимает, что такое "восстановление" не значит, что так оно и было на самом деле.
> Замыленные не по гауссу лица на фото можно восстанавливать?Можно все что угодно. Вопрос что получится и что дальше делать с этим знанием. Если итог "с вероятностью 10% это Вася" - ну, окей, и дальше чего? Предъявы Васе будем выкатывать или нет? Оно видите ли смотря в камеру то на идеальную картинку не 100% работает - а вот так - будет вообще совсем не 100% а что-то очень сильно ниже, в стиле "капец Васян страшило, мне тут его Рабинович нарисовал!".
Хорошее мыло, мыльное, с перламутровой дымкой.
есть консольная/gui тулза, которую уже можно использовать чтобы фоточки почистить?
Да, это консольная собранная программа Intel.
Отличный результат. Только, как по моему, результат осветлился и немного ушёл в жёлтое. Если бы ещё оно делало эту коррекцию, то было бы вообще круто.