Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Ubuntu 21.10 переходит на использование алгоритма zstd для сжатия deb-пакетов "	+/–
Сообщение от opennews (ok), 07-Июл-21, 17:19
Разработчики Ubuntu начали перевод deb-пакетов на  использование алгоритма zstd, который позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого увеличения их размера (~6%).... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=55453
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Жироватт (ok), 07-Июл-21, 17:19	–11 +/–
Ломающие Изменения Новой Бубунты! Внемлите же, смертные!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #14, #22

2. Сообщение от анон (?), 07-Июл-21, 17:22	–10 +/–
Не, это гуголь любит ломать, тут другое, не стоит вскрывать эту тему, вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #7

3. Сообщение от Аноним (3), 07-Июл-21, 17:24	–9 +/–
А что сразу не на snappy? Ведь известное правило 80-20 применимо и тут. Большая часть данных жмётся легко даже с помощью RLE, а что жмётся плохо - можно и не жать вообще, ведь а то будет МЕДЛЕННО!!!!111
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #13

4. Сообщение от Аноним (4), 07-Июл-21, 17:25	–2 +/–
Давно пора. Установка/обновление пакетов в Debian - та еще черепаха.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #6, #16, #27, #62

5. Сообщение от Аноним (5), 07-Июл-21, 17:25	+9 +/–
А если не сжимать, то и разжимать не надо, ага.
Ответить | Правка | Наверх | Cообщить модератору

6. Сообщение от Установщик Дебиан (?), 07-Июл-21, 17:26	–3 +/–
Купи SSD и всё тебе будет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #40

7. Сообщение от Аноним (7), 07-Июл-21, 17:26	+8 +/–
Копипасту надо копировать целиком!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #10

8. Сообщение от Аноним (7), 07-Июл-21, 17:27	–1 +/–
>В Debian поддержка zstd уже включена в APT, debootstrap и reprepro, и проходит рецензирование перед включением в dpkg. Хах, теперь кто тут медленно обновляется? Debian - стабильно быстр, быстро стабилен!
Ответить | Правка | Наверх | Cообщить модератору

9. Сообщение от Аноним (9), 07-Июл-21, 17:28	–3 +/–
Вот людям делать нечего... Или там коты сидят?!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #11

10. Сообщение от анон (?), 07-Июл-21, 17:29	–3 +/–
Я не любитель форков.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #68

11. Сообщение от ананимус (?), 07-Июл-21, 17:41	+4 +/–
если его реально делают коты то отдел маркетинга те еще лошары, исползуя это в рекламе можно легко рапростронить его на 100% десктопа уничтожив и винду и мак и остальные дистры
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

12. Сообщение от Аноним (13), 07-Июл-21, 17:43	–12 +/–
В Андроиде новый формат пакетов делают. В Убунте тоже. Это ж-ж-ж-ж-ж неспроста.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #21

13. Сообщение от Аноним (13), 07-Июл-21, 17:45	+5 +/–
И по твоему же правилу 20% которые плохо жмутся займут 80% места.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #15, #17

14. Сообщение от макпыф (ok), 07-Июл-21, 17:45	+1 +/–
так не удаляют же другие форматы, ни чего оно не ломает
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

15. Сообщение от Аноним (3), 07-Июл-21, 17:48	+/–
В сжатом архиве - вполне возможно. Но хрен их дальше упакуешь, белый шум и есть белый шум.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13

16. Сообщение от Аноним (3), 07-Июл-21, 17:49	+7 +/–
Черепаха она из-за триггеров, написанных на баше.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #39, #47, #59

17. Сообщение от фанат перловки когдато (?), 07-Июл-21, 17:56	–3 +/–
чувак ты видать не понял, что написАл
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #57

18. Сообщение от Аноним (18), 07-Июл-21, 18:01	+3 +/–
В Arch пакеты вроде уже давно жмут с zstd.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #23

19. Сообщение от Аноним (19), 07-Июл-21, 18:10	+/–
А прочему бы вместо пакетов не использовать squashfs с сжатием zstd,но вместо распаковки просто монтировать? А изменения и конфиги монтировать через overlayfs?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20, #26, #52

20. Сообщение от Аноним (20), 07-Июл-21, 18:30	+2 +/–
Snap, как я понимаю, что-то подобное и делает.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #24, #46

21. Сообщение от Аноним (7), 07-Июл-21, 18:39	+7 +/–
>В Андроиде новый формат пакетов делают. В Убунте тоже Новость прочитайте ещё раз. Убунта не делает новый формат пакетов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #56

22. Сообщение от Аноним (22), 07-Июл-21, 19:25	+2 +/–
акстись буратино, всё пройдёт прозрачно(незаметно) для пользователя
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

23. Сообщение от Аноним (22), 07-Июл-21, 19:31	+/–
да уже полтора года как https://archlinux.org/news/now-using-zstandard-instead-of-xz.../ As announced on the mailing list, on Friday, Dec 27 2019, our package compression scheme has changed from xz (.pkg.tar.xz) to zstd (.pkg.tar.zst). zstd and xz trade blows in their compression ratio. Recompressing all packages to zstd with our options yields a total ~0.8% increase in package size on all of our packages combined, but the decompression time for all packages saw a ~1300% speedup. хотя там общее увеличение меньше 1% а тут аж 6% откуда то насобирали
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #25, #32, #34

24. Сообщение от Аноним (22), 07-Июл-21, 19:43	+1 +/–
ага, тока там оно еще тянет внутрь половину системы чтобы быть переносимым - "Файл .snap представляет собой динамично подключаемый сжатый файл с файловой системой внутри (основана на squashfs) и метаданными в декларативном виде, которые интерпретируются системой при создании защищённой песочницы или контейнера. "
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

25. Сообщение от Аноним (25), 07-Июл-21, 19:49	+/–
Разный compression level?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #30

26. Сообщение от Anon2 (?), 07-Июл-21, 20:06	+/–
Потому, что монтирование squashfs это существенный жор памяти. Обычная настольная система будет _дополнительно_ потреблять 600-1000Мб памяти. Тогда уж использовать надо erofs, но коэффициент сжатия явно не тот будет
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #28

27. Сообщение от Аноним (27), 07-Июл-21, 20:08	+3 +/–
Это ты ещё CentOS не видел...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #53

28. Сообщение от Аноним (22), 07-Июл-21, 20:18	+1 +/–
dwarfs [ https://github.com/mhx/dwarfs ] в этом плане перспективней была бы чем squashfs или erofs
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26

29. Сообщение от Аноним (29), 07-Июл-21, 20:31	+1 +/–
Гмм... теперь со вкусом сжатия.D
Ответить | Правка | Наверх | Cообщить модератору

30. Сообщение от Аноним (22), 07-Июл-21, 20:43	+/–
наверное, у Арча это: zstd -c -T2 --ultra -20 https://lists.archlinux.org/pipermail/arch-dev-public/2019-M... хз где посмотреть для убунту
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25 Ответы: #31

31. Сообщение от Аноним (22), 07-Июл-21, 20:46	+/–
*T0
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30

32. Сообщение от Admenestrator (?), 07-Июл-21, 21:07	+1 +/–
Возможно потому что до этого в арчп и убунте по разному пакеты сжимали?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

33. Сообщение от пох. (?), 07-Июл-21, 21:27	+/–
Скорость установки Ubuntu у меня на SSD занимает минуты две, зачем её увеличивать тем более на HDD, где это самое ускорение приведёт к явным артефактам, таким как хруст французской булки.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #35, #42

34. Сообщение от Аноним (34), 07-Июл-21, 22:12	+/–
-22 и --long=31 и оно рвёт всех кроме разве что lrzip. сжимает по времени примерно как xz -9 и с изменённым размером чуууточку подольше наверно сравнимо с -9e однако если какие-то данные дублируются будет на порядки быстрее. другие параметры не трогал, я вообще использую -3 потому что он быстрый и long=31 когда позволяет сэкономить, tgz или txz будут больше чем zstd с увеличенным окном (технически данные попадающие в 2гб окно дедуплицируются).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #44, #51

35. Сообщение от Аноним (22), 07-Июл-21, 22:29	+/–
ты тока это, блины маслом смазывай чтобы не слиплись
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #36

36. Сообщение от пох. (?), 07-Июл-21, 22:43	–3 +/–
Имеешь опыт?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #37

37. Сообщение от Аноним (22), 07-Июл-21, 23:07	+/–
не, я не опытный, но ты лучше всё же смазывай
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

38. Сообщение от Аноним (-), 07-Июл-21, 23:31	+2 +/–
Надо жать в JPEG. Не уверен насчет скорости и прочей ерунды, зато будет красиво.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #45, #60

39. Сообщение от Аноним (39), 07-Июл-21, 23:44	+/–
И ты конечно же их профилировал, а не голословно врёшь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

40. Сообщение от Michael Shigorin (ok), 07-Июл-21, 23:56	–10 +/–
Не-а, и на SSD альт быстрей устанавливается -- при том, что сжатие xz. :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #61, #67

41. Сообщение от Аноним (41), 08-Июл-21, 00:02	–1 +/–
Кароч, а если жать как в раче и собирать не deb, а толкать простые тарболы, а ещё, как говорят рачисты, сделать так, чтоб "супербыстрый pacman" был вместо апта. Вот тогда бунта заживёт, так победит!
Ответить | Правка | Наверх | Cообщить модератору

42. Сообщение от Michael Shigorin (ok), 08-Июл-21, 00:03	+1 +/–
> Скорость установки Ubuntu у меня на SSD занимает минуты две Сразу видно, что это липовый "пох.", а не оригинал. Нет, не только по "Ubuntu у меня". А и по "скорости" в минутах, да ещё и занимающей "на SSD". Тот хоть и старый циник с очень специфическим мировоззрением, но точно не косноязычное дитятко. PS: детки, думайте головой, будьте внимательны к размерностям величин в задачках (не только по физике, по математике тоже пригодится), а то и найдите себе учебники/методички по физпрактикуму -- в жизни это всё ещё не раз выручит именно что приобретёнными навыками.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #43, #54

43. Сообщение от пох. (?), 08-Июл-21, 01:31	+/–
> косноязычное дитятко Пох, не на конкурсе словесности Задача была донести важность неторопливой установки ОС на HDD, попробуй доказать, что неподготовленный хард и высокая скорость распаковки/установки не приведут к жуткому треску винчестера после установки.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

44. Сообщение от Аноним (44), 08-Июл-21, 03:16	+1 +/–
winrar 5.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

45. Сообщение от Какаянахренразница (ok), 08-Июл-21, 03:21	+3 +/–
Алгоритм сжатия с потерями для пакета??? Хм, в этом что-то есть...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #48

46. Сообщение от Shevchuk (ok), 08-Июл-21, 04:59	+/–
Правда, сжатие там xz 🤦‍♂, и оттого в том числе страдает время запуска (распаковки).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #49, #50

47. Сообщение от Плюсовик (?), 08-Июл-21, 06:22	–1 +/–
Перестань писать того, чего не знаешь! Если бы читал список рассылки и блоги разработчиков, то знал бы, что проблема комплексная.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

48. Сообщение от Аноним (22), 08-Июл-21, 07:00	+1 +/–
ага, а потом еще можно будет с помощью ffmpeg собрать фильм на скорости 30 пакетов в секунду.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45

49. Сообщение от iPony129412 (?), 08-Июл-21, 07:51	+/–
зависит от пакета for file in /var/lib/snapd/snaps/*.snap; do sudo unsquashfs -s $file | grep "Compression" ; done у меня всё xz
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

50. Сообщение от iPony129412 (?), 08-Июл-21, 07:54	+/–
Не дописал, что бывает и LZO https://snapcraft.io/blog/snap-speed-improvements-with-new-c...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

51. Сообщение от Аноним (51), 08-Июл-21, 08:01	+/–
На моём тестовом дейтасете всех рвёт гугловский бротли - 6 мегабайт, против 16 у zstd и 26 у lzma. И это без общего словаря, который был использован в случае zstd, но для других компрессоров не получилось, ибо в биндингах к питону у них нет API для генерации оптимального словаря (а у brotli вообще выпилили возможность использовать свои словари), а у zstd были.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #66

52. Сообщение от Аноним (51), 08-Июл-21, 08:02	+/–
Есть такой Distr1.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

53. Сообщение от freehck (ok), 08-Июл-21, 08:17	+/–
С языка сорвал, анон!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

54. Сообщение от freehck (ok), 08-Июл-21, 08:21	–1 +/–
> Сразу видно, что это липовый "пох.", а не оригинал. Какая важная информация!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

55. Сообщение от Аноним (-), 08-Июл-21, 09:06	+2 +/–
Наконец-то до них дошло. А ведь действительно только три варианта - lrzip (но долго жмёт), LZMA2/7-zip/xz (для нормального сжатия нужно много RAM) и zstd - но быстр, но жмёт существенно хуже, чем lrzip Кстати, lrzip может делать только препроцессинг без сжатия - тогда поверх него жать и zstd можно - но вроде как тогда нужно место в /tmp для распаковки, а это долго.
Ответить | Правка | Наверх | Cообщить модератору

56. Сообщение от Аноним (13), 08-Июл-21, 09:16	–1 +/–
Андроид тоже не делает его другим. Он делает его чуть-чуть другим. Те же apk но в пакете и при этом не все сразу.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #64

57. Сообщение от Аноним (13), 08-Июл-21, 09:17	+/–
Перловка плохо действует на мозг завязывай с ней.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

58. Сообщение от x230 (ok), 08-Июл-21, 09:46	+/–
Не прошло и двух недель, т.е. полугодий. Давно пора. ... Ещё бы систем-д выкинули...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #65

59. Сообщение от Аноним (59), 08-Июл-21, 10:47	+3 +/–
Надо было использовать systemd-dpkgd.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

60. Сообщение от Аноним (59), 08-Июл-21, 10:54	+/–
av1
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38

61. Сообщение от Аноним (61), 08-Июл-21, 11:01	+8 +/–
ты самый тошнотворный рекламщик своей писаной торбы
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

62. Сообщение от vitalif (ok), 08-Июл-21, 14:06	+1 +/–
Разве что из-за постоянной записи в /var/lib/dpkg с fsync-ами. Но на ssd это почти не заметно и не понятно, где оно быстрее-то. RPM-based всё довольно тормозное в основном
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

63. Сообщение от Аноним (63), 08-Июл-21, 14:09	+/–
А сам контейнер они с дремучего ar поменять не хотят на что-то современное? Хотя бы на tar :-)
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #74, #76

64. Сообщение от Аноним (64), 08-Июл-21, 14:22	+/–
Андроид не сжимает, а делает его чуть-чуть другим. С твоих же слов. Спорщик вы такой себе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56

65. Сообщение от Аноним (-), 08-Июл-21, 16:15	–1 +/–
лучше бы тебя выкинули из профессии
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58 Ответы: #69

66. Сообщение от Аноним (34), 08-Июл-21, 17:39	+/–
Бротли слишком уж тормзной, 4ка оптимальна по скорости и эффективности относительно обычного deflate. Твикать размер окна не пробовал, мне главное, чтобы извлекалось быстрее чем с диска прочитать. И не ждать  лишние секунды при сжатии. Надо баланс. Zstd вроде самый бодрый на извлечении пока что, и ратио сжатия вполне достаточный в отличие от lz4.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51

67. Сообщение от Tigro (ok), 08-Июл-21, 20:00	+2 +/–
Я кстати посмотрел, чем упаковано сейчас в Федоре. Оказалось zstd.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #73

68. Сообщение от _hide_ (ok), 08-Июл-21, 22:12	+/–
Вторая смена архиватора с времён 12.04? Это круто!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

69. Сообщение от x230 (ok), 08-Июл-21, 22:49	+/–
Добрый ты!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65

70. Сообщение от Аноним (70), 08-Июл-21, 23:19	–2 +/–
"Разработчики Ubuntu начали перевод deb-пакетов на использование алгоритма zstd, который позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого увеличения их размера (~6%). " На правах бабушки Ванги, повангую, что не только ценой "небольшого увеличения", но также ценой стабильности и повышением требований к ресурсам.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #71

71. Сообщение от Аноним (70), 08-Июл-21, 23:20	+/–
> "Разработчики Ubuntu начали перевод deb-пакетов на использование алгоритма zstd, который > позволит почти в два раза увеличить скорость установки пакетов, ценой небольшого > увеличения их размера (~6%). " > На правах бабушки Ванги, повангую, что не только ценой "небольшого увеличения", но > также ценой стабильности и повышением требований к ресурсам. Я сурьёзно, скриньте этот пост!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70 Ответы: #72

72. Сообщение от ist (?), 09-Июл-21, 00:00	+/–
И что дальше делать с заскриненным постом? Распечатать и повесить на стену?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71 Ответы: #75

73. Сообщение от srgazh (ok), 10-Июл-21, 13:06	+/–
Как бы давно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67

74. Сообщение от Аноним (74), 11-Июл-21, 14:01	+/–
Чтобы что ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #63

75. Сообщение от Аноним (75), 11-Июл-21, 23:47	+/–
На смываемую втулку намотать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72

76. Сообщение от Аноним (76), 13-Июл-21, 10:19	+/–
ar и tar при таком их возрасте можно считать ровесниками. Другое дело что я никогда не понимал сжатия пакетов инструментом для сборки статических либ, но тут я некомпетентен, может быть были хорошие причины так делать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #63 Ответы: #77

77. Сообщение от Аноним (77), 17-Июл-21, 17:13	+/–
Почему ar - это исключительно инструмент для сборки статических либ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #76

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема