Компания NVIDIA опубликовала (https://nvlabs.github.io/SPADE/) исходные тексты системы машинного обучения  SPADE (https://nvlabs.github.io/SPADE/) (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом нетренированные модели (https://drive.google.com/file/d/12gvlTbMvUcJewQlSEaZdeb2CdOB.... Система была продемонстрирована (https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealist... в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки открыты (https://github.com/NVlabs/SPADE) под лицензией CC BY-NC-SA 4.0 (https://creativecommons.org/licenses/by-nc-sa/4.0/) (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch (https://pytorch.org/).

Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно зелёная в деревья, светло  зелёная в траву, светло коричневая в камни, тёмно коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов,  от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.

Объекты синтезируются генеративно-состязательной нейронной сетью (GAN (https://ru.wikipedia.org/wiki/%D0%93%D0%... которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и  контролировать стиль.

Для достижения реалистичности применяются две конкурирующие друг с другом нейронных сети: генератор и дискриминатор (Discriminator). Генератор формирует изображения на основе смешивания элементов реальных фотографий, а дискриминатор выявляет возможные отклонения от реальных изображений. В итоге формируется обратная связь, на основе которой генератор начинает компоновать всё более качественные образцы, до тех пор пока дискриминатор не перестанет отличать их от настоящих.

URL: https://github.com/NVlabs/SPADE
Новость: https://www.opennet.dev/opennews/art.shtml?num=50507

• NVIDIA открыла код системы машинного обучения, синтезирующей...,dimcha, 11:19 , 13-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 11:22 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,commiethebeastie, 12:38 , 13-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 15:23 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Ordu, 13:52 , 13-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,Попугай Кеша, 17:08 , 15-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,qwerty_qwerty1, 10:26 , 15-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Zenitur, 11:27 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 14:41 , 13-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 16:50 , 13-Апр-19
      • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 17:06 , 13-Апр-19
        • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 22:47 , 13-Апр-19
        • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 03:49 , 14-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,анонимз, 07:07 , 14-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,Ordu, 19:23 , 16-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,freehck, 11:34 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 12:01 , 13-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 12:23 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 22:49 , 13-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 12:27 , 13-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Анонимс, 12:51 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,EuPhobos, 14:12 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 14:30 , 13-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 11:04 , 14-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 13:38 , 13-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Crazy Alex, 14:23 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,GG, 16:19 , 13-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 17:32 , 13-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,GG, 19:09 , 13-Апр-19
      • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 19:51 , 13-Апр-19
      • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 22:51 , 13-Апр-19
        • NVIDIA открыла код системы машинного обучения, синтезирующей...,GG, 23:38 , 13-Апр-19
          • NVIDIA открыла код системы машинного обучения, синтезирующей...,shpinog, 13:04 , 14-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 16:41 , 13-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 17:58 , 13-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 05:12 , 14-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 09:06 , 14-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,Vitaliy Blats, 17:38 , 14-Апр-19
      • NVIDIA открыла код системы машинного обучения, синтезирующей...,Попугай Кеша, 17:10 , 15-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 09:49 , 14-Апр-19
    • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 15:16 , 14-Апр-19
      • NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 19:24 , 14-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 11:11 , 15-Апр-19
• NVIDIA открыла код системы машинного обучения, синтезирующей...,Аноним, 10:43 , 16-Апр-19
  • NVIDIA открыла код системы машинного обучения, синтезирующей...,Попугай Кеша, 13:38 , 16-Апр-19

ОГНИЩЕ!!!!!

Всё стремится к примитивности. Такими темпами скоро появятся "желтые" заголовки в стиле - "шимпонзе создала картину превосходящую по технике Ван Гога!" и "мой кот повторяет шедевры Пикассо!"

Мой кот умнее анонима.

Ей, осторожнее, я и есть твой кот.

https://www.brecorder.com/2019/04/11/488194/scientists-put-h.../

"Планета обезьян" из фантастики становится возможным будущим

Искусство, вообще понятие субъективное. Так что да, ваш кот не сможет нечего создать, а вот мои рыбки те да гениальны.  

А можно ли конвертировать игры для CGA и EGA в HiRes в реальном времени?

Нет, конечно. Оно на питоне написано.

На питоне там только обвязка, производительность которой некритична. Сама нейросеть работает нативно.

Для real-time приложения, а другое для игр не получится, обвязка на питоне сожрёт любые доступные ресурсы

Сказали же - computation graph обученной нейросети не нуждается в обвязке на питоне, конструирующей сеть и обучающей её. Нужна только тупая обвязка на С++, прокидывающая картинку из текстуры OpenGL в код на OpenCL и обратно путём биндинга некоторых объектов, ещё нужна обвязка, грузящая код из файла. Но суперпупер 3д игры не ожидайте - от кадра к кадру пропущенная через сеть картинка будет очень разная, от такой игры даже у здрового человека голова заболит. Для суперпупер 3д надо уметь векторизовать и восстанавливать 3д информацию, а это уже пахнет вокселями и 3д-нейросетью заместо полигональных моделей, а это уже неподъёмно.

EVE Online на пайтоне. И ничего... работает!

http://www.the8bitguy.com/243/cga-graphics-not-bad-thought/ ;) в реальности CGA поддерживает емнип 16 цветов, а не 4, но нужен композитный монитор или телевизор

Круто. Люблю такие исторические ретроспективы. Интересно, будут ли в вузах будущего читать курс истории микрокомпьютеров, где будущие историки будут учится писать скроллеры под cgi, или записывать на 5" дискету 1600Kb? Или всё это так и забудут, так же как многие тысячи пневматических уличных часов, показывавших централизованно синхронизированное время по всему Парижу на стыке XIX и XX веков. Лет же пятьдесят эти часы отработали, а потом их просто вышвырнули на помойку, и забыли успешно. Неблагодарные хомячки-потребители.

Молодцы, что открыли, фигли. Поясните кто-нибудь, кто разбирается, и у кого есть время посмотреть: рисование картин по шаблонам вроде как тема очень не новая, в связи с чем вопрос; в части построения слоёв там что-нибудь принципиально новое есть, или это просто демонстраци того, как оптимизировать это дело под NVidia?

Здесь наглядное сравнение с аналогами https://nvlabs.github.io/SPADE/images/coco_comparison.jpg при обучении на одной и той же коллекции картинок. Насколько я понял принципиальная разница в том, что сеть начинает поступательно улучшать полученную на входе мазню до уровня реализма без отдельной фазы нормализации.

Драйверы под линь лучше бы написала и открыла

Зачем, если они и так монополист и всех вертели?

>Грым не знал точно, как работает доводчик — и никто толком не знал. Дамилола сказал только, что в нём заложен тот же алгоритм, что и в Кае — программа учитывает всё, когда-то сказанное людьми, все бесчисленные смысловые выборы, которые делались в течение веков и сохранились в информационных анналах. Пальцы Грыма как бы управляли армией мёртвых душ, двигавших для него кубики слов.

> Объекты синтезируются генеративно-состязательной нейронной сетью (GAN), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков

Видимо, скоро актёры в голливуде останутся без работы. Нажал на кнопку, а ИИ тебе сгенерировал 100500 новых, реалистичных актёров, которые будут делать всё, что пожелаешь.

Рендерить рожи якобы "знаменитостей" уже умеет
https://youtu.be/VrgYtFhVGmg?t=19

Да и пес с ними с актерами.

Действительно, что нам актёры? Такое впечатление, что анонимы "Generation П" не читали.

Кривая гладь воды радует

И давно NC-лицензии стали свободными?

Они не стали, это пропаганда копирастов.

Да, CC BY-NC-SA 4.0 ограничивает свободу распространения, поэтому называть ее свободной нельзя. И очень странно использование CC для ПО - видимо, нестыковка как раз в этом. Данные лицензии применяют для документов. Ну вот, например, проекты распространяются под GPL v3 (исходники и бинарные сборки для всех ОС), а документация к ним, имеющая самостоятельную литературную и научную ценность, под CC-BY-SA 4.0. Считаю такой подход более корректным.

Нет, для документации есть GNU FDL.
Лицензии CC были придуманы и навязаны копирастами для рисованов, чтобы те пилили закопирастеные картинки, которые в свободном ПО использовать или проблематично или вообще невозможно.

Каждый вправе выбрать сам лицензию или придумать свою. Был приведен только пример. Некоторые нюансы делают GNU FDL менее предпочтительной, чем CC BY-SA, для указанного типа документации. Кстати, о картинках. Недавно один из интересных ресурсов изображений перешел с СС  на собственную лицензию. А Википедия наоборот - с GNU на СС.

Вообще-то просто cc-by, cc-by-sa и cc-0 вполне свободные лицензии. И Лессиг против копирастии.

Нет, не свободные, т.к. не требуют выдачи исходников в случае производной работы (бинарник, например).

Слово " требовать" и "свобода", как то странно приравниваются... кто сказала что свободная лицензия должна что-то требовать, MIT.

Кто-нибудь картинку с саванным шимпанзе уже проверял?

Если бы у "Нашего человека в Гаване" была такая штука, ему не пришлось бы срисовывать чертежи пылесоса...

чистый синтез это процедурная генерация(ассембл.+ Си) а тут просто микширование картинок по шаблонам с добавлением эффектов. На современных видяхах используя чистую генерацию можно творить невероятные реалтайм шедевры умещающиеся в пару мегабайт вместо сотен гигов машинно обученой базы.

> На современных видяхах используя чистую генерацию можно творить невероятные реалтайм шедевры умещающиеся в пару мегабайт

Ссылки на (желательно, свободные) примеры в студию.

Каждая школота знала про Bryce.

Ты из поколения ЕГЭ шоле ?

Bryce - зачетная тема, могу еще накинуть - Vue (Avatar) / Terragen (использовался в Sucker Punch)

Хаха, осталось только придумать процедуру (и закодить). В этом и прелесть нейронных сетей (грубо говоря, она сама придумывают процедуру). В этом же и её слабость (на ком натренирована).

Нейронная сеть не

> придумывают процедуру

Грубо говоря же. Вообще, тут долго можно спорить об определениях, что есть обучение, что есть интеллект или мышление.

А можно точно также, но с электронными компонентами?

"Послушай, Успенский с тобой говорит. Здесь за окном офигительный вид.". Гуглим дальше.

На чем научили )