Разработчики Ubuntu начали перевод deb-пакетов на  использование алгоритма zstd, который позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого увеличения их размера (~6%)....

Подробнее: https://www.opennet.dev/opennews/art.shtml?num=55453

• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Жироватт, 17:19 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,анон, 17:22 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:26 , 07-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,анон, 17:29 , 07-Июл-21
        • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,_hide_, 22:12 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,макпыф, 17:45 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 19:25 , 07-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:24 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:45 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:48 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,фанат перловки когдато, 17:56 , 07-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 09:17 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:25 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Установщик Дебиан, 17:26 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Michael Shigorin, 23:56 , 07-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 11:01 , 08-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Tigro, 20:00 , 08-Июл-21
        • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,srgazh, 13:06 , 10-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:49 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 23:44 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Плюсовик, 06:22 , 08-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 10:47 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 20:08 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,freehck, 08:17 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,vitalif, 14:06 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:25 , 07-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:27 , 07-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:28 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,ананимус, 17:41 , 07-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:43 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 18:39 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 09:16 , 08-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 14:22 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 18:01 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 19:31 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 19:49 , 07-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 20:43 , 07-Июл-21
        • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 20:46 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Admenestrator, 21:07 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 22:12 , 07-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 03:16 , 08-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 08:01 , 08-Июл-21
        • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:39 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 18:10 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 18:30 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 19:43 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Shevchuk, 04:59 , 08-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,iPony129412, 07:51 , 08-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,iPony129412, 07:54 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Anon2, 20:06 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 20:18 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 08:02 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 20:31 , 07-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,пох., 21:27 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 22:29 , 07-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,пох., 22:43 , 07-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 23:07 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Michael Shigorin, 00:03 , 08-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,пох., 01:31 , 08-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,freehck, 08:21 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 23:31 , 07-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Какаянахренразница, 03:21 , 08-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 07:00 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 10:54 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 00:02 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 09:06 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,x230, 09:46 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 16:15 , 08-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,x230, 22:49 , 08-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 14:09 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 14:01 , 11-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 10:19 , 13-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 17:13 , 17-Июл-21
• Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 23:19 , 08-Июл-21
  • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 23:20 , 08-Июл-21
    • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,ist, 00:00 , 09-Июл-21
      • Ubuntu 21.10 переходит на использование алгоритма zstd для с...,Аноним, 23:47 , 11-Июл-21

Ломающие Изменения Новой Бубунты!
Внемлите же, смертные!

Не, это гуголь любит ломать, тут другое, не стоит вскрывать эту тему, вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб.

Копипасту надо копировать целиком!

Я не любитель форков.

Вторая смена архиватора с времён 12.04? Это круто!

так не удаляют же другие форматы, ни чего оно не ломает

акстись буратино, всё пройдёт прозрачно(незаметно) для пользователя

А что сразу не на snappy? Ведь известное правило 80-20 применимо и тут. Большая часть данных жмётся легко даже с помощью RLE, а что жмётся плохо - можно и не жать вообще, ведь а то будет МЕДЛЕННО!!!!111

И по твоему же правилу 20% которые плохо жмутся займут 80% места.

В сжатом архиве - вполне возможно. Но хрен их дальше упакуешь, белый шум и есть белый шум.

чувак ты видать не понял, что написАл

Перловка плохо действует на мозг завязывай с ней.

Давно пора. Установка/обновление пакетов в Debian - та еще черепаха.

Купи SSD и всё тебе будет.

Не-а, и на SSD альт быстрей устанавливается -- при том, что сжатие xz. :)

ты самый тошнотворный рекламщик своей писаной торбы

Я кстати посмотрел, чем упаковано сейчас в Федоре. Оказалось zstd.

Как бы давно.

Черепаха она из-за триггеров, написанных на баше.

И ты конечно же их профилировал, а не голословно врёшь.

Перестань писать того, чего не знаешь! Если бы читал список рассылки и блоги разработчиков, то знал бы, что проблема комплексная.

Надо было использовать systemd-dpkgd.

Это ты ещё CentOS не видел...

С языка сорвал, анон!

Разве что из-за постоянной записи в /var/lib/dpkg с fsync-ами. Но на ssd это почти не заметно и не понятно, где оно быстрее-то. RPM-based всё довольно тормозное в основном

А если не сжимать, то и разжимать не надо, ага.

>В Debian поддержка zstd уже включена в APT, debootstrap и reprepro, и проходит рецензирование перед включением в dpkg.

Хах, теперь кто тут медленно обновляется? Debian - стабильно быстр, быстро стабилен!

Вот людям делать нечего... Или там коты сидят?!

если его реально делают коты то отдел маркетинга те еще лошары, исползуя это в рекламе можно легко рапростронить его на 100% десктопа уничтожив и винду и мак и остальные дистры

В Андроиде новый формат пакетов делают. В Убунте тоже. Это ж-ж-ж-ж-ж неспроста.

>В Андроиде новый формат пакетов делают. В Убунте тоже

Новость прочитайте ещё раз. Убунта не делает новый формат пакетов.

Андроид тоже не делает его другим. Он делает его чуть-чуть другим. Те же apk но в пакете и при этом не все сразу.

Андроид не сжимает, а делает его чуть-чуть другим. С твоих же слов. Спорщик вы такой себе.

В Arch пакеты вроде уже давно жмут с zstd.

да уже полтора года как
https://archlinux.org/news/now-using-zstandard-instead-of-xz.../

As announced on the mailing list, on Friday, Dec 27 2019, our package compression scheme has changed from xz (.pkg.tar.xz) to zstd (.pkg.tar.zst).

zstd and xz trade blows in their compression ratio. Recompressing all packages to zstd with our options yields a total ~0.8% increase in package size on all of our packages combined, but the decompression time for all packages saw a ~1300% speedup.

хотя там общее увеличение меньше 1% а тут аж 6% откуда то насобирали

Разный compression level?

наверное,
у Арча это: zstd -c -T2 --ultra -20
https://lists.archlinux.org/pipermail/arch-dev-public/2019-M...
хз где посмотреть для убунту

*T0

Возможно потому что до этого в арчп и убунте по разному пакеты сжимали?

-22 и --long=31 и оно рвёт всех кроме разве что lrzip.

сжимает по времени примерно как xz -9 и с изменённым размером чуууточку подольше наверно сравнимо с -9e однако если какие-то данные дублируются будет на порядки быстрее.

другие параметры не трогал, я вообще использую -3 потому что он быстрый и long=31 когда позволяет сэкономить, tgz или txz будут больше чем zstd с увеличенным окном (технически данные попадающие в 2гб окно дедуплицируются).

winrar 5.

На моём тестовом дейтасете всех рвёт гугловский бротли - 6 мегабайт, против 16 у zstd и 26 у lzma. И это без общего словаря, который был использован в случае zstd, но для других компрессоров не получилось, ибо в биндингах к питону у них нет API для генерации оптимального словаря (а у brotli вообще выпилили возможность использовать свои словари), а у zstd были.

Бротли слишком уж тормзной, 4ка оптимальна по скорости и эффективности относительно обычного deflate. Твикать размер окна не пробовал, мне главное, чтобы извлекалось быстрее чем с диска прочитать. И не ждать  лишние секунды при сжатии. Надо баланс. Zstd вроде самый бодрый на извлечении пока что, и ратио сжатия вполне достаточный в отличие от lz4.

А прочему бы вместо пакетов не использовать squashfs с сжатием zstd,но вместо распаковки просто монтировать? А изменения и конфиги монтировать через overlayfs?

Snap, как я понимаю, что-то подобное и делает.

ага, тока там оно еще тянет внутрь половину системы чтобы быть переносимым
- "Файл .snap представляет собой динамично подключаемый сжатый файл с файловой системой внутри (основана на squashfs) и метаданными в декларативном виде, которые интерпретируются системой при создании защищённой песочницы или контейнера. "

Правда, сжатие там xz 🤦‍♂, и оттого в том числе страдает время запуска (распаковки).

зависит от пакета

for file in /var/lib/snapd/snaps/*.snap; do sudo unsquashfs -s $file | grep "Compression" ; done

у меня всё xz

Не дописал, что бывает и LZO

https://snapcraft.io/blog/snap-speed-improvements-with-new-c...

Потому, что монтирование squashfs это существенный жор памяти. Обычная настольная система будет _дополнительно_ потреблять 600-1000Мб памяти. Тогда уж использовать надо erofs, но коэффициент сжатия явно не тот будет

dwarfs [ https://github.com/mhx/dwarfs ] в этом плане перспективней была бы чем squashfs или erofs

Есть такой Distr1.

Гмм... теперь со вкусом сжатия.D

Скорость установки Ubuntu у меня на SSD занимает минуты две, зачем её увеличивать тем более на HDD, где это самое ускорение приведёт к явным артефактам, таким как хруст французской булки.

ты тока это, блины маслом смазывай чтобы не слиплись

Имеешь опыт?

не, я не опытный, но ты лучше всё же смазывай

> Скорость установки Ubuntu у меня на SSD занимает минуты две

Сразу видно, что это липовый "пох.", а не оригинал.
Нет, не только по "Ubuntu у меня".
А и по "скорости" в минутах, да ещё и занимающей "на SSD".
Тот хоть и старый циник с очень специфическим мировоззрением, но точно не косноязычное дитятко.

PS: детки, думайте головой, будьте внимательны к размерностям величин в задачках (не только по физике, по математике тоже пригодится), а то и найдите себе учебники/методички по физпрактикуму -- в жизни это всё ещё не раз выручит именно что приобретёнными навыками.

> косноязычное дитятко

Пох, не на конкурсе словесности

Задача была донести важность неторопливой установки ОС на HDD, попробуй доказать, что неподготовленный хард и высокая скорость распаковки/установки не приведут к жуткому треску винчестера после установки.

> Сразу видно, что это липовый "пох.", а не оригинал.

Какая важная информация!

Надо жать в JPEG. Не уверен насчет скорости и прочей ерунды, зато будет красиво.

Алгоритм сжатия с потерями для пакета??? Хм, в этом что-то есть...

ага, а потом еще можно будет с помощью ffmpeg собрать фильм на скорости 30 пакетов в секунду.

av1

Кароч, а если жать как в раче и собирать не deb, а толкать простые тарболы, а ещё, как говорят рачисты, сделать так, чтоб "супербыстрый pacman" был вместо апта.
Вот тогда бунта заживёт, так победит!

Наконец-то до них дошло.
А ведь действительно только три варианта - lrzip (но долго жмёт), LZMA2/7-zip/xz (для нормального сжатия нужно много RAM) и zstd - но быстр, но жмёт существенно хуже, чем lrzip

Кстати, lrzip может делать только препроцессинг без сжатия - тогда поверх него жать и zstd можно - но вроде как тогда нужно место в /tmp для распаковки, а это долго.

Не прошло и двух недель, т.е. полугодий.
Давно пора.
...
Ещё бы систем-д выкинули...

лучше бы тебя выкинули из профессии

Добрый ты!

А сам контейнер они с дремучего ar поменять не хотят на что-то современное? Хотя бы на tar :-)

Чтобы что ?

ar и tar при таком их возрасте можно считать ровесниками. Другое дело что я никогда не понимал сжатия пакетов инструментом для сборки статических либ, но тут я некомпетентен, может быть были хорошие причины так делать.

Почему ar - это исключительно инструмент для сборки статических либ?

"Разработчики Ubuntu начали перевод deb-пакетов на использование алгоритма zstd, который позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого увеличения их размера (~6%). "

На правах бабушки Ванги, повангую, что не только ценой "небольшого увеличения", но также ценой стабильности и повышением требований к ресурсам.

> "Разработчики Ubuntu начали перевод deb-пакетов на использование алгоритма zstd, который
> позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого
> увеличения их размера (~6%). "
> На правах бабушки Ванги, повангую, что не только ценой "небольшого увеличения", но
> также ценой стабильности и повышением требований к ресурсам.

Я сурьёзно, скриньте этот пост!

И что дальше делать с заскриненным постом? Распечатать и повесить на стену?

На смываемую втулку намотать.