The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Первый стабильный выпуск zlib-ng, высокопроизводительного форка zlib

17.03.2021 14:14

Доступен релиз библиотеки zlib-ng 2.0 который отмечен как первый стабильный выпуск проекта (следом уже доступен корректирующий выпуск 2.0.1). Zlib-ng совместим с zlib на уровне API, но предоставляет дополнительные оптимизации, не принятые в официальный репозиторий zlib из-за консервативного подхода к приёму изменений. Дополнительно предложен модернизированный API, основанный на zlib, но изменённый для упрощения портирования. Код проекта написан на языке Си и распространяется под лицензией Zlib.

Проведённые на системах x86_64 тесты показали, что при выполнении операций сжатия Zlib-ng примерно в 4 раза быстрее zlib и в 2.1 раза быстрее gzip. При распаковке Zlib-ng примерно в 2.4 раза быстрее zlib и в 1.8 раз быстрее gzip. Добиться существенного повышения производительности сжатия/распаковки в основном удалось благодаря задействованию векторных инструкций SSE*, AVX2, VSX и Neon.

В том числе добавлена реализация алгоритма вычисления контрольных сумм Adler32, оптимизированная при помощи инструкций SSSE3, AVX2, Neon и VSX, реализация CRC32-B на базе PCLMULQDQ и ACLE, усовершенствованные хэш-таблицы, реализация хэша Slide на базе SSE2, AVX2, Neon и VSX, операции сравнения на базе SSE4.2 и AVX2. В состав также включены нацеленные на повышение производительности изменения, используемые в форках от компаний Intel и Cloudflare. Оптимизирован процесс работы с буферами. Добавлена поддержка сборочных систем CMake и NMake. Для тестирования задействованы системы непрерывной интеграции.

Кроме оптимизаций в Zlib-ng также включены накопившиеся в пакетах дистрибутивов патчи и проведена чистка кода от обходных решений, используемых в zlib для поддержки старых компиляторов и платформ, но мешающих реализации более эффективных методов (например, ограничения, необходимые для поддержки 16-разрядных систем и несовместимых с ANSI C компиляторов). Проведена работа по выявлению и исправлению ошибок, выявленных статическими анализаторами, системами fuzzing-тестирования и инструментами для выявления проблем при работе с памятью (AddressSanitizer и MemorySanitizer).

  1. Главная ссылка к новости (https://github.com/zlib-ng/zli...)
  2. OpenNews: В рамках проекта zlib-ng развивается высокопроизводительный форк zlib
  3. OpenNews: Компания Intel представила серию патчей, существенно ускоряющих библиотеку сжатия zlib
  4. OpenNews: Компания Google представила совместимый с zlib алгоритм сжатия Zopfli
  5. OpenNews: Facebook опубликовал реализацию алгоритма сжатия Zstandard 1.0
  6. OpenNews: Библиотеки сжатия LZHAM и Crunch переведены в общественное достояние
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/54775-zlib-ng
Ключевые слова: zlib-ng, zlib, compress
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (279) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 14:38, 17/03/2021 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –2 +/
     
  • 1.3, Аноним (-), 14:42, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –23 +/
    > не принятые в официальный репозиторий zlib из-за консервативного подхода к приёму изменений

    Уважаю zlib, никаких zlib-ng в моей системе не будет.

     
     
  • 2.4, Аноним (4), 14:52, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +21 +/
    О да, 16-разрядные системы и несовместимых с ANSI C компиляторы это ваше все!
     
     
  • 3.5, Аноним (5), 15:02, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –15 +/
    Ты такие слова знаешь, ну прям вааащее
     
  • 3.14, alexrayne (?), 16:33, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    вообчето используются они.
     
     
  • 4.29, Аноним (29), 18:01, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Старые версии zlib для таких систем никуда не денутся.
     
     
  • 5.35, Аноним (35), 19:16, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Да ? А где они ? Может там есть старая рабочая жаба ? Или нетскейп ? Где все это ?
     
     
  • 6.36, Аноним (29), 19:28, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В архивах, которые несложно нагуглить.
     
     
  • 7.39, Аноним (-), 20:13, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ногугли ка мне архив с нетскейпом который я смогу собрать под ппц
     
     
  • 8.56, Аноним (-), 22:18, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А нетшкаф хоть когда-то был под ппц Чтобы что-то гуглить - это наверное должно ... текст свёрнут, показать
     
     
  • 9.169, Аноним (-), 19:00, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    ок, давай любой чтоб под арм или все, позиция ногуглю любой архив провалилась ... текст свёрнут, показать
     
     
  • 10.178, Аноним (178), 23:22, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Так это, в демьяне под ARM браузеры собраны не хуже чем под все остальное Можеш... текст свёрнут, показать
     
     
  • 11.212, Аноним (-), 03:32, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я не говорю о софте который у меня был до твого рождения, но ты даже популярные ... текст свёрнут, показать
     
     
  • 12.233, Аноним (-), 13:04, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Проблемы мамонтов с PDP11 меня не интересуют Да вот как-то лис старинных версий... большой текст свёрнут, показать
     
     
  • 13.234, Аноним (234), 13:07, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    p s опеннет конечно же испортил урлу, вводить надо с последним слэшом ... текст свёрнут, показать
     
  • 2.135, Аноним (135), 08:22, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нам всем очень интересно, что на твоей системе есть, а чего нет и не будет. Продолжай держать нас в курсе.
     

     ....большая нить свёрнута, показать (14)

  • 1.7, Аноним (7), 15:18, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Это конечно всё очень полезно, только zlib в основном из-за сжатия веб страниц жив. И, я слышал, brotli его заменил. А трафик так и вовсе бесплатный теперь -- не то, что раньше. Но интересно как так получается, что gz быстрее zlib, когда это одно и то же (по-сути). Или я чего то не знаю, или подобрали специальные кейсы.
     
     
  • 2.9, Аноним (9), 15:33, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Угу, гуглу это расскажи. А то чего-то для них трафик основная статья расходов. Думаешь чего они с сжатием возятся, для прикола?! И мобильные операторы тоже почему-то пипеткой этот "бесплатный" отмеряют. А то эфир видите ли делится на всю толпу и поэтому ограниченый ресурс.
     
     
  • 3.12, Аноним (12), 16:09, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    И все труды gzip множатся на ноль из за маленький изображений... с весом более 10 Мб, а так же из за видеорекламы.
     
     
  • 4.58, Аноним (58), 22:20, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Для начала
    1) gzip в картинках вообще не встречается.
    2) гугл webp любит, там совсем zip'а/deflate'а нет.
    3) Грузить 10метровые картинки на нагруженных страницах гугол не любит.
     
     
  • 5.179, Аноним (179), 23:23, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > gzip в картинках вообще не встречается

    Расскажи это PNG.

     
     
  • 6.211, Аноним (-), 03:20, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Расскажи это PNG.

    deflate != gzip ;). Гзип как бы deflate + некие свои хидеры. А png это deflate + некие свои хидеры. При чем тут gzip? В png нет заголовков оного, кукуйте.

     
  • 2.21, Аноним (-), 17:02, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Или я чего то не знаю,

    Наверное не знаешь вообще ничего. Все что ты видишь перед собой, в той или иной мере использует zlib, вся твоя графика без нее работать не будет, даже твой глубоко консольный пакетный менеджер без нее не может. Игры и инторнеты и подавно.

     
     
  • 3.23, Аноним (7), 17:08, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Или же знаю по крайней мере больше тебя? Во всяком случае, deflate очень медленный и неэффективный, как ни крути.
     
     
  • 4.27, Аноним (-), 17:53, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ты даже не знаешь как работает пнг
     
     
  • 5.31, Аноним (7), 18:18, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Может быть. Это не делает deflate менее опциональным.
     
     
  • 6.34, Аноним (35), 19:14, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо за ыкспердное мнение.
     
  • 5.59, Аноним (58), 22:22, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Ты даже не знаешь как работает пнг

    Таки можно приколоться и сделать нежатый png. Или RLE-only. Однако для декодирования произвольного inflate все же понадобится.

    p.s. а таки png устарел... ну вот не лучшая либа по сжатию это, словарик мелкий, скорость распаковки так себе. Тот же zstd и жмет лучше и декомпрессится быстрее одновременно.

     
  • 4.280, topin89 (ok), 02:06, 27/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я ещё могу понять, что неэффективный (тут по коэффициенту сжатия всё равно всех делает PAQ8) или неоптимальный (где, судя по всему, хорош Zstandard), но с каких это пор он медленный?
     
     
  • 5.281, Аноним (7), 02:24, 27/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    На сжатие он медленный, особенно на 9чку. Не для сжатия текстур скажем так. На распаковку достаточно ок конечно.
     
  • 3.24, Аноним (7), 17:11, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И да, помимо веб-страниц он использовался примерно только в png (zlib и был сделан для png).
     
     
  • 4.60, Аноним (58), 22:25, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Вот ты ламер. Он используется много где. А просто потому что долгое время это было 1 приличной опенсорс либой сжатия.

    Ну например, формат данных HMM III (и IV) пожат тем самым deflate'ом. О чем прозрачно намекает копирайт Адлера и проч в коде их бинаря (статически влинковано, при том уязвимая версия, трололо, удачной игры по сети!).

     
     
  • 5.67, Аноним (7), 22:42, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Прости, но… С каких пор коммерческие поигручечки (из 90х!) считается за "используется"? Им ведь ровно всё равно, чем жать, многие и не жмут даже нули -- в итоге все эти гигабайты сейвов сжимающиеся в 100000 раз валяются на диске как есть, ровно то же самое и с текстурами. Допустим, может использоваться для _медленного_ сжатия текстур где-то, допустим. Ну и? А вот в левелдб используется снаппи, дальше что? Этот же снаппи может использоваться опционально и не очень ещё в десятке проектов. Странно, почему не дефлейт, он же такой хороший и универсальный?
     
     
  • 6.81, Аноним (81), 23:04, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    С таких каких я в них играю, например Да ну, эксперт в треде, все в машину Им ... большой текст свёрнут, показать
     
     
  • 7.85, Аноним (7), 23:12, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >RadGameTools

    Опять некрофильствуешь? Я практически уверен что они кокнулись ещё в 90 (да, я в курсе, что в начале нулевых было ещё пара игрушек с bik).

    Насчет снаппи я ответил в соседнем посте. Они не взяли deflate видимо по причине недостаточной производительности на сжатии, что в некоторых случаях роялит. Но дейстивительно, выигрыш от его использования очень неочевиден.

    >из сильно рахных категорий

    По-моему, это несколько упрощённая и понерфленная версия zlib, возможно, именно благодаря нему появился brotli. А то и zstd (наш спаситель).

    Никакого отношения это всё ни к чему не имеет, deflate пусть универсальный, но с любой стороны дорогой и медленный даже сегодня, что говорить о ситуации 30 лет назад.

     
     
  • 8.119, Аноним (-), 04:51, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Черта с два Живее всех живых И просто для понимания, в PS5, кажется, один из и... большой текст свёрнут, показать
     
  • 6.82, Аноним (7), 23:04, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Хотя, что касается снаппи… Будем считать, что это было тёмное время. Нет, конечно, на сжатие он в 2 и более раз быстрее, но он ведь на распаковку медленнее zlib и жмёт при этом в 2 раза хуже. Но суть в том, что медленное ресурсоёмкое сжатие походит не везде и не для всего, а так конечно может быть использовано любое сжатие где угодно. Но вот на уровне стандарта или формата файла zlib только в png.
     
     
  • 7.154, Аноним (-), 12:40, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Будем считать, что у кого-то в гугле NIH очень зудел Ващет быстрее Но проблема... большой текст свёрнут, показать
     
     
  • 8.157, Аноним (7), 14:01, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это на примере тестовых файлов предоставленных авторами snappy и результат бенчм... большой текст свёрнут, показать
     
     
  • 9.180, Аноним (-), 23:42, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Верить авторам алгоритмов стоит с оговорками Особенно если они из гугола Вообщ... большой текст свёрнут, показать
     
     
  • 10.244, Аноним (7), 14:23, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Штук 5, но в целом согласен Более того, я подозреваю, что зависимость от zlib т... текст свёрнут, показать
     
     
  • 11.249, Аноним (249), 03:56, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это, имхо, врядли PNG ща много где юзается Ну и без zlib он как бы ни о чем Е... большой текст свёрнут, показать
     
  • 2.25, Аноним (25), 17:24, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    brotli почему-то до сих пор по умолчанию нету в nginx, и многие забывают его пос... большой текст свёрнут, показать
     
     
  • 3.45, timur.davletshin (ok), 21:24, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Бротли дебильноват с архитектурной точки зрения, т.к. юзает огромный статистический текстовый словарь. Хренов на мобильных платформах и для больших бинарных файлов. Короче, это для веб-доставки HTML+JS, но не алгоритм общего применения.
     
     
  • 4.53, Анонимленьлогиниться (?), 22:07, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Значит, ждем реализации rfc8478 в серверах и большем количестве клиентов.. Пока разве что curl поддерживает zstd http compression.
     
     
  • 5.69, timur.davletshin (ok), 22:45, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Значит, ждем реализации rfc8478 в серверах и большем количестве клиентов.. Пока разве
    > что curl поддерживает zstd http compression.

    Оно мультитридинг научилось или будем шило на мыло опять менять, как с заменов JPEG на корявый WEBP, не умеющий без прореживания цвета?

     
     
  • 6.78, Аноним (-), 22:56, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Оно мультитридинг научилось или будем шило на мыло опять менять,

    КМК мультитрединг скорее к апликухе больше.

    > как с заменов JPEG на корявый WEBP, не умеющий без прореживания цвета?

    Ничего страшного, AVIF их всех зохавает. Там это, кажется, учли. А так прикольный формат - даже, вот, анимации есть с неких пор. Но софтом поддерживается охренеть как: ffmpeg может выдать анимированный webp (да, так можно). Но вот проигрывать его или юзать как input не умеет. Write-only формат!!!1111 который понимается только хромом и, вроде, совсем новыми лисами с недавних пор. Остальной софт не одупляет, так что отредактировать это - ну, ой.

     
     
  • 7.80, timur.davletshin (ok), 23:03, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Ничего страшного, AVIF их всех зохавает.

    Да вообще не факт. Критически важно только для CDN, где уменьшение трафика картинок на 30% может быть актуальным. С другой стороны, на пережимание там в несколько раз больше выч. ресурсов тратиться будет. Эл-во вроде сильно дешевле не становится.

     
     
  • 8.83, Аноним (81), 23:06, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Кроме этого страницы еще быстрее грузиться видите ли будут Особенно актуально в... текст свёрнут, показать
     
     
  • 9.87, timur.davletshin (ok), 23:13, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А что меньше батарею жрёт Аппаратный декодер JPEG или AVIF, который есть у с... текст свёрнут, показать
     
     
  • 10.121, Аноним (-), 05:04, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Декодирование картинок обчыно не является сушественным процентом времяпровождени... большой текст свёрнут, показать
     
     
  • 11.128, timur.davletshin (ok), 05:26, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Декодирование сжатого потока тоже не является, но его одноко же зачем-то оптимиз... текст свёрнут, показать
     
     
  • 12.181, Аноним (-), 23:46, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Когда у тебя 10 000 юзерей и им надо пожать ответ сервера - вот тут скорость уже... текст свёрнут, показать
     
     
  • 13.186, timur.davletshin (ok), 00:25, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Так об чём и речь я вёл Страдания на тему я видосики посмотрела 15 минут и мой... большой текст свёрнут, показать
     
     
  • 14.205, Аноним (205), 02:43, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так потому корпы и пилят сабж Он греется и еще по over 9000 поводов Плюс-ми... большой текст свёрнут, показать
     
     
  • 15.218, timur.davletshin (ok), 07:23, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Давай, в студию модели без спайвари, милый Про него я даже не сомневаюсь Линук... текст свёрнут, показать
     
     
  • 16.235, Аноним (-), 13:21, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Nokia N900 из винтажных , motorola droid если maemo leste вкорячить помощнее, ... большой текст свёрнут, показать
     
     
  • 17.237, timur.davletshin (ok), 13:31, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Да-да, ты ещё не забудь вспомнить первый линуксофон Где-то у меня валяется, так... текст свёрнут, показать
     
     
  • 18.250, Аноним (-), 04:04, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А какое-нибудь Maemo не только живое и софт до сих пор обновляется, но и вон там... большой текст свёрнут, показать
     
  • 7.90, Аноним (7), 23:20, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Avif шляпа с любой стороны -- дефективный формат исключительно для экономии трафика на мобильниках. Для сжатия изображений vp9/av1 и h265 подходят ещё меньше vp8(чёртовы лестницы на градиентах!). Я видел текущие результаты jpeg-xl, и похоже он всех захавает. Потому что по качеству картинки он намного выше jpeg и не имеет артефактов вносимых видеокодеками. А размер файла меньше. Не "отличить от оригинала" будет на 25% меньше чем у жпег (у жпег это около 50% от лосслесс), так ещё и мусор весь скроет.
     
     
  • 8.122, Аноним (-), 05:11, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не догоняю какие к тому фундаментальные предпосылки У av1 самого по себе очень ... большой текст свёрнут, показать
     
     
  • 9.150, Аноним (7), 12:11, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, мусор это грязные артефакты lossy-lossy кодирования, например Vp8 вместе... текст свёрнут, показать
     
     
  • 10.182, Аноним (-), 23:52, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    У AV1 во первых артефакты очень не паливные, а во вторых есть lossless режим, на... большой текст свёрнут, показать
     
     
  • 11.243, Аноним (7), 14:16, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я не отрицаю, что для такого битрейта результат очень впечатляющий Но av1 реаль... большой текст свёрнут, показать
     
     
  • 12.251, Аноним (-), 04:32, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    У него в принципе очень крутое соотношение битрейт-качество Для этого и делался... большой текст свёрнут, показать
     
     
  • 13.264, Аноним (7), 01:47, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Субсамплинг вообще ни при чём, и, уж тем более, если исходное изображение и так ... текст свёрнут, показать
     
     
  • 14.265, Аноним (265), 06:25, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда и терять нечего, по большому счету Забойный аргумент правоты, что сказать... большой текст свёрнут, показать
     
     
  • 15.270, Аноним (7), 12:17, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну т е оскорбления -- это всё, на что ты способен Ясно, понятно Я показал теб... большой текст свёрнут, показать
     
  • 7.118, Аноним (118), 04:35, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    есть еще совсем новый jpeg xl
     
     
  • 8.138, Анонимленьлогиниться (?), 09:12, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И что там с патентами После истории с gif и патентами на LZW, когда пришлось пр... текст свёрнут, показать
     
     
  • 9.151, Аноним (7), 12:25, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Глупости не говорите Jpeg2k это тоже вейвлет кодирование, оно очень неплохо раб... текст свёрнут, показать
     
     
  • 10.159, Анонимленьлогиниться (?), 15:49, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это совсем не то, что заявляли авторы 2k и какие картинки в примеры они выводили... большой текст свёрнут, показать
     
     
  • 11.163, Аноним (7), 16:48, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не только в себя, любое лосси перекодирование выглядит очень хорошо Если не жаб... большой текст свёрнут, показать
     
  • 11.164, Аноним (7), 16:56, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И это Нет, он артефачит и не может нормально детектить края, перерисовывает част... текст свёрнут, показать
     
     
  • 12.183, Аноним (-), 00:04, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Как раз технологически там для этого очень даже приличные вещи типа CDEF есть И... текст свёрнут, показать
     
     
  • 13.245, Аноним (7), 14:43, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Файл и получается более мелким Вот на давешнем примере avif100 900kb avif90 22... текст свёрнут, показать
     
     
  • 14.247, Аноним (7), 17:15, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Avif99 402kb кстати, но реально он выглядит хуже максимально без видимых искаже... текст свёрнут, показать
     
  • 14.252, Аноним (-), 04:38, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Але, гараж, если хочется качество сравнивать, в lossy варианте размер файлов дол... большой текст свёрнут, показать
     
  • 11.203, Аноним (203), 02:22, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Очень красноречивая картинка, спасибо Avif рулит ... текст свёрнут, показать
     
     
  • 12.236, Аноним (-), 13:25, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Очень красиво обмакнули в ушат того умника с его раржыпегом Было бы странно есл... текст свёрнут, показать
     
     
  • 13.266, Аноним (265), 06:28, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    При том секрет обмакивания раскрыт Умник тестил фото и видео на рисованых анима... текст свёрнут, показать
     
  • 6.139, Анонимленьлогиниться (?), 09:17, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >> Значит, ждем реализации rfc8478 в серверах и большем количестве клиентов.. Пока разве
    >> что curl поддерживает zstd http compression.
    > Оно мультитридинг научилось или будем шило на мыло опять менять, как с
    > заменов JPEG на корявый WEBP, не умеющий без прореживания цвета?

    Это вопрос клиенту, использующему библиотеку (вы ведь понимаете, что в библиотеке автоматически активировать треды как бы нельзя)?

    Штатная реализация zstandard умеет параллелится из коробки, посмотрите zstd -T. Отлично работает, напр. в 8 тредов реально почти в 8 раз быстрее.

    Для декомпрессии параллельность не требуется, там и так 1 ГБ/с скорость разжатия. Быстрее только LZ4/LZO...

     
     
  • 7.142, timur.davletshin (ok), 09:44, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Для декомпрессии параллельность не требуется

    Смеялся...

    > Штатная реализация zstandard умеет параллелится из коробки

    А вот моя ядерная реализация из ядра линукс не параллелится. Шта делать прикажете?

     
     
  • 8.152, Аноним (7), 12:27, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В ядре очень уж протухшие версии, у меня вот тоже вопрос -- почему ... текст свёрнут, показать
     
     
  • 9.153, timur.davletshin (ok), 12:38, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Там не протухшие, а собственные реализации Как и всего остального, например тех... текст свёрнут, показать
     
     
  • 10.156, Аноним (7), 12:44, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Очень плохо Пока апстрим уходит на десятилетия вперёд а также исправляет ошибк... текст свёрнут, показать
     
     
  • 11.161, timur.davletshin (ok), 16:03, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Скорее наоборот Там будет самая вылизанная Твой уход на десятилетия вперёд ник... текст свёрнут, показать
     
     
  • 12.272, Аноним (7), 18:32, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Long таки даёт ощутимую экономию раза в 3 - например, из файла 2 6гб получается ... большой текст свёрнут, показать
     
     
  • 13.274, Аноним (7), 22:43, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Как я понял, long режим с расширенным окном позволяет практически моментально де... текст свёрнут, показать
     
  • 9.213, Аноним (-), 03:34, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В ядре сильно другие constraints Вас же не устроит если ядро при каком-нибудь а... текст свёрнут, показать
     
     
  • 10.246, Аноним (7), 15:16, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Из-за подобной нерасторопности страдают пользователи Причём, вполне вероятно, с... текст свёрнут, показать
     
     
  • 11.253, Аноним (-), 04:46, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ничего они не страдают - кернел threaded как черти что Это врядли Такие вещи в... текст свёрнут, показать
     
  • 8.160, Анонимленьлогиниться (?), 15:53, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну хорошо, вы много знаете случаев, когда 1 ГБ с скорости недостаточно Ну так в... текст свёрнут, показать
     
     
  • 9.162, timur.davletshin (ok), 16:08, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    У меня домашний массив больше 400 выдаёт обычный домашний NAS на базе старого п... текст свёрнут, показать
     
  • 9.168, Аноним (7), 18:37, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Возмём средний ссд, сколько там, 3ГБ с А нет, уже 5 ГБ с чтение и запись , 15Г... текст свёрнут, показать
     
     
  • 10.216, timur.davletshin (ok), 07:05, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Справедливости ради, скорость интерфейса и скорость работы даже в режиме линейно... текст свёрнут, показать
     
     
  • 11.228, Аноним (7), 11:27, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Скорость ограничена только скоростью памяти, в 4 канальном режиме это порядка бо... текст свёрнут, показать
     
  • 8.184, Аноним (184), 00:17, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А теперь наша очередь Обнаружен эксперт в алгоритмах от вебмакакинга Как мисте... большой текст свёрнут, показать
     
     
  • 9.187, timur.davletshin (ok), 00:28, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Давай начнём с малого Как кэш делится между ядрами ... текст свёрнут, показать
     
     
  • 10.206, Аноним (-), 02:49, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А вот это уже зависит от довольно много чего Бывают разные реализации, уровн... текст свёрнут, показать
     
     
  • 11.215, timur.davletshin (ok), 07:04, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    По твоей теории, если всё упирается в ОЗУ, никакого проку от распараллеливания б... текст свёрнут, показать
     
     
  • 12.238, Аноним (-), 13:31, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    На распаковку, именно современного быстрого алгоритма - не особо Если это нечто... большой текст свёрнут, показать
     
     
  • 13.239, timur.davletshin (ok), 13:33, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ближе к телу, меньше абстрактных измышлений, разговор был конкретно про ядерную ... текст свёрнут, показать
     
     
  • 14.254, Аноним (-), 04:47, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ядерная реализация используется в том числе и для распаковки кернела вроде ... текст свёрнут, показать
     
  • 9.192, timur.davletshin (ok), 00:40, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Мне кажется, вы путаете воркеры каких-нибудь файловых систем, вроде той же btrfs... текст свёрнут, показать
     
     
  • 10.207, Аноним (-), 02:51, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Сам алгоритм может, конечно, сделать то же самое по смыслу, но вообще такая функ... текст свёрнут, показать
     
  • 4.61, Аноним (58), 22:27, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Автор малость смухлевал так для повышения сжатия. В принципе это даже малость работает - ценой переноса данных заранее на клиент, в либу бротли с ее словарем. С zstd так тоже можно, как впрочем и с почти любым алго. Т.е. если zlib'у словарь заранее подпихать на стороне клиента он тоже лучше жать начнет. Но у него словарь 32 кило максимум - с современными вебмакаками это уже маловато, они либы на мегабайты хотят - у словаря склероз, сжатие страдает.
     
     
  • 5.71, timur.davletshin (ok), 22:46, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Автор малость смухлевал так для повышения сжатия...

    Спасибо, кэп )))

     
  • 3.52, Анонимленьлогиниться (?), 22:05, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что значит "забывают"? Так его не поставить по-человечески. Нет в репах - ни RHEL (включая rpmfusion), ни Debian, ни прочих не-серверных дистрибутивах. Компилять из сорцов, чтобы оно потом в usr/local болталось, нормально не управлялось, забывалось, ломалось при обновлении nginx и brotli (да-да, даже в рамках стабильного RHEL нынче доступны несколько веток nginx и появляются новые мажорные релизы)? Да нах это счастье надо. Будет распространяться нормально - будут ставить.

    А пока текущая политика nginx "купите nginx plus, там это есть, а в обычном халявном nginx.. упс, катитесь подальше, нищебрoды" или какие-то еще причины мешают его нормально распространять штатно в дистрибутивах - так и будет.

     
     
  • 4.62, Аноним (58), 22:29, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В смысле - не поставить?! А libbrotli1 в дебиане - это чего?
     
     
  • 5.137, Анонимленьлогиниться (?), 09:05, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > В смысле - не поставить?! А libbrotli1 в дебиане - это чего?

    Я не про libbrotli1, а про nginx-module-brotli. Что вам толку от либы, когда nginx с ней не собран?

    Вы ничего такого не поставите из коробки, чтобы в nginx можно было поддержку brotli сжатия в дополнение к zlib включить.

     
     
  • 6.175, hefenud (ok), 22:34, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну я для себя и клиентов поддерживаю ppa в котором вместе с nginx'ом собираю и nginx-module-brotli, и некоторые еще необходимые мне модули которые не собирают ни в родных репах nginx'а, ни в репах Debian/Ubuntu.

    И все ставится и обновляется совершенно штатно. При выходе свежей версии mainline у nginx обновляю пакет, дурное дело не хитрое

     
     
  • 7.223, Анонимленьлогиниться (?), 10:35, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну я для себя и клиентов поддерживаю ppa в котором вместе с
    > nginx'ом собираю и nginx-module-brotli, и некоторые еще необходимые мне модули которые
    > не собирают ни в родных репах nginx'а, ни в репах Debian/Ubuntu.
    > И все ставится и обновляется совершенно штатно. При выходе свежей версии mainline
    > у nginx обновляю пакет, дурное дело не хитрое

    Что мешает выложить в апстрим дистрибутива, сделав доступным для всех пользователей дебиан, RHEL и тп? Почему же каждый для себя должен делать? Вот из таких мелочей все и складывается..

     
     
  • 8.224, hefenud (ok), 10:38, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Все и выложено и доступно, я же не из воздуха собираю И ppa общедоступный, ничт... текст свёрнут, показать
     
  • 6.185, Аноним (184), 00:18, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Вы ничего такого не поставите из коробки, чтобы в nginx можно было
    > поддержку brotli сжатия в дополнение к zlib включить.

    Да собссно нжинкс не настолько сложно компилится, если это ну вот реально надо. Тоже мне проблему развели.

     
  • 3.79, Аноним (-), 22:57, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Про бесплатность трафика не соглашусь, это бесплатно только для пользователя и для
    > сайтов с трафиком ≤1ТБ

    А попробуй стать гуглем - и узнаешь в чем прикол.

     
     
  • 4.220, пох. (?), 08:53, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А нам-то что с того Попробуешь, все равно не получится Да и гуглю оно больше д... большой текст свёрнут, показать
     
     
  • 5.240, Аноним (-), 13:53, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    По другим причинам - ты не соберешь такую же распределенную штуку Ну вот нет у ... большой текст свёрнут, показать
     
  • 2.113, Кочегар (ok), 02:15, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Или я чего то не знаю

    Правила русского языка, в соответствии с которым "чего-то" пишется через дефис.

     
     
  • 3.114, Аноним (7), 02:39, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >> Или я чего то не знаю
    > Правила русского языка, в соответствии с которым "чего-то" пишется через дефис.

    Докапываться до орфографии как минимум неприлично. Это занятие для людей, у которых в жизни больше ничего нет.

     
     
  • 4.115, Кочегар (ok), 03:02, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >>> Или я чего то не знаю
    >> Правила русского языка, в соответствии с которым "чего-то" пишется через дефис.
    > Докапываться до орфографии как минимум неприлично. Это занятие для людей, у которых
    > в жизни больше ничего нет.

    Безграмотно писать — выказывать неуважение к собеседнику. Это удел людей, которым недоставало в жизни образования, как академического, так и культурного.

     
     
  • 5.140, Ordu (ok), 09:34, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Езли тобе бизграматнасть мира выглядетт выкказываньем ниуваженья ктебе, та кем ты ся мниш, интиресно?
     
  • 5.148, Аноним (-), 11:50, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Безграмотно писать — выказывать неуважение к собеседнику.

    Ты саписетник штоли ? Нисмиши аднаклетачнае

     

     ....большая нить свёрнута, показать (106)

  • 1.10, Аноним (10), 15:43, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Ну и зачем эти полумеры типа zlib-ng когда есть Zstandard? Переходите на него, а zlib оставьте в покое, как классическое решение с консервативным подходом.
     
     
  • 2.11, Аноним (11), 15:48, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Так zlib они и не трогали, в чём претензия?
     
  • 2.51, Аноним (51), 22:01, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Говорят что LZO очень недооцененная штука. Вот если будет что-то такое - обязательно надо попробовать. Обещают суперскоростя если коротко.
     
     
  • 3.55, Анонимленьлогиниться (?), 22:12, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    lzo все-таки не для длинной сетевой передачи, а для задачи "сжимать хоть чуть-чуть со скоростями не сильно меньше, чем memcpy". И по факту он потерял актуальность (разве что для совместимости интересен) после появления Snappy и LZ4, любой из которых работает лучше (первый в плане скорости, второй в плане сжатия).

    А в нишах длинных линков по сети на пятки lz4 наступает zstd с соответствующими параметрами.

     
  • 3.63, Аноним (-), 22:32, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    LZO для несколько других задач, он скорее с LZ4 сравним. Жмет чуть получше, но и распаковывается чуть помедленнее. Как-то так. У LZ4 формат потока совсем тупой и неэффективный, зато - все для скорости распаковки. И распаковать пару гигов в секунду (!!!) - поди плохо?
     
     
  • 4.108, Аноним (-), 00:58, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну дык жеж
     

  • 1.13, Аноним (13), 16:20, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Самое главное из статьи непонятно: сжатые модным нг файлы "консервативным" zlib можно распаковать или нет? А то, может он жмёт быстро как в анекдоте про ту секретаршу, которая со скоростью 600 знаков в минуту печатает.
     
     
  • 2.15, Аноним (15), 16:34, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Прочитал то ее хоть? Сказано же - весь прирост из-за SSE* AVX2 и чего только не. А в оригинал не принимают потому что платформоспецифические инструкции и опасаются что где-то что-то под экзотику неправильно ifdef'ы распарсит и сломается.
     
     
  • 3.16, InuYasha (??), 16:37, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    огигиналы, наверное, про #if defined () не слышали или боятся код определения фич платформы втыкать.
     
     
  • 4.76, Аноним (-), 22:52, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > огигиналы, наверное, про #if defined () не слышали или боятся код определения
    > фич платформы втыкать.

    Ну, понимаешь, любую фичу можно поюзать в объеме когда от своей крутизны станет плоховато. И поддержка вон тех чудесатых платформ с левыми компилерами... ух, попробуй без поллитры одуплить вообще сорец какого-нибудь LZO. Это сцуко черная магия. Но ты можешь смухлевать, попросив препроцессор прожевать тебе это. Однако без препроцессора... ммм... как тебе код состоящий из #ifdef-ов чуть более чем полностью? :)

     
     
  • 5.144, InuYasha (??), 10:26, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну почему? Если писать красиво и грамотно - любой код читаем и понимаем. Приверы - линукс и ванговс.
    > как тебе код состоящий из #ifdef-ов чуть более чем полностью? :)

    А внезапно! Видел скриптовый язык, написанный на препроцессорных командах! )

     
     
  • 6.188, Аноним (188), 00:29, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Просто старинные компилеры дофига не умели или страдали дурными багами и требова... большой текст свёрнут, показать
     
     
  • 7.222, InuYasha (??), 10:34, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > прям in place - становится довольно тяжко.

    Зачем in place? В один хедер их все засунуть и оставить.

    > Это как?

    Huang A. - The Hardware Hacker. Adventures in Making and Breaking Hardware - 2017
    We invented our own language to avoid
    subconscious plagiarism—it’s too easy to read one piece of code and, from memory, code something
    almost exactly the same. By transforming the code into a new language, we were forced to consider
    the facts presented and express them in an original arrangement.
    Scriptic is basically a set of assembler macros, and the syntax is very simple.

     
     
  • 8.241, Аноним (-), 13:59, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, может, в случае если функция в целом одинакова для всех, но вон тем и вон эт... текст свёрнут, показать
     
     
  • 9.242, InuYasha (??), 14:14, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Случаи разные и их много, согласен Не буду же я все варианты придумывать-перечи... текст свёрнут, показать
     
     
  • 10.255, Аноним (-), 05:07, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А вот Оберхамер прямо примерно это в коде и сделал ifdef ами, злыдень Поэтому т... большой текст свёрнут, показать
     
  • 4.165, пох. (?), 16:56, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Оригиналы не только слышали, как вот ты, например, но еще и в курсе, что никаким "if defined" не получится проверить наличие в компиляторе и отдельно в ассемблере нужных фич - нужных банально для протестировать возможности процессора и гордо заявить "ой, не тот". Потому что, в отличие от тебя - умеют кодить. А в отличие от этих вот модных-молодежных - умеют еще и в переносимый код, а не "многоплатформенная - это винда, винда, винда и еще вот, linux-amd64-самойпоследнейверсии".

    Именно такой шлак приходится каждый раз выкидывать при пересборке на нетиповых платформах.

     
     
  • 5.174, InuYasha (??), 21:02, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    I understand your frustration.gif

    Ну, экстраполируй за #ifdef-ы, что-ли. Мне приходилось писать код и под разные платормы и разные API, зачастую даже без #ifdef-ов. Если в коде не используешь совсем уж заковыристые инструкции, то всё везде скомпилится. printf и fopen есть на любом тостере.

     
     
  • 6.221, пох. (?), 09:12, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    похоже, нет приходилось ли тебе хоть раз в жизни писать код, который вызывает ... большой текст свёрнут, показать
     
     
  • 7.225, InuYasha (??), 10:39, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > приходилось ли тебе хоть раз в жизни писать код, который вызывает "illegal opcode"

    Ну не, такого говнокода я не писал. Разве что - если где-то указатель выходил в открытый космос.

    > Вот тебе кот:

    нормальный код, только я написал бы более универсально.
    #define COMPILER_HAS_AVX2
    Ну, и у меня полно проектов которые комплятся от VS6 и GCC 2.x.

     
     
  • 8.227, пох. (?), 11:21, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это нормальный код Просто на неправильном процессоре он не должен выполниться ... текст свёрнут, показать
     
     
  • 9.231, InuYasha (??), 12:24, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Нахрен мне чужой быдлокод Своего мегатонны Я что-то пойму - ты админ 124 ... текст свёрнут, показать
     
     
  • 10.260, Аноним (-), 15:49, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Он и админ и программист Уровня бох W пох Извини, пох, ты не против побыть мем... текст свёрнут, показать
     
  • 10.263, пох. (?), 23:11, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я админ opensource систем Кажется, это то, чему когда-то был посвящен данный са... текст свёрнут, показать
     
     
  • 11.267, Аноним (267), 06:33, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    С Exchange то Хвалящий винду Странный какой-то админ опенсорсных систем Кто... текст свёрнут, показать
     
  • 9.261, Аноним (-), 16:12, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Просто эстетикой его кодер на заморачивался и явно написал первое что ему в бошк... большой текст свёрнут, показать
     
     
  • 10.271, InuYasha (??), 13:54, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Судя по тому, как ты это описал, это то, чем я и нормальные программисты пользую... текст свёрнут, показать
     
     
  • 11.275, Аноним (275), 10:30, 26/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Возможно Однако советую глянуть у Cyan а в блоге автор LZ4 Там еще очень зло... большой текст свёрнут, показать
     
     
  • 12.277, InuYasha (??), 11:42, 26/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Эх, заставил меня вспомнить как я проект доброй сотней сырцов с -w3 перевёл на -... текст свёрнут, показать
     
  • 7.256, Аноним (-), 05:11, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Вынести в какой-нибудь хидер типа compiler-features h, чтобы взгляд не оскорблял... большой текст свёрнут, показать
     
     
  • 8.262, пох. (?), 23:06, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Автор конкретного процитированного куска думал что это - портабельно Но недодум... большой текст свёрнут, показать
     
     
  • 9.268, Аноним (-), 06:51, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Интринсики и портабельно - ну, э, лол С такими вещами это бывает Специфичное з... большой текст свёрнут, показать
     
     
  • 10.269, пох. (?), 10:53, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    открою страшную тайну чем раньше в помойку летит поделка недоумка, неспособного... текст свёрнут, показать
     
     
  • 11.276, Аноним (275), 10:34, 26/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Знаешь, пох, с таким подходом - софтом вообще лучше не пользоваться, в нем баги ... текст свёрнут, показать
     
     
  • 12.282, пох. (?), 19:51, 27/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    я _только_что_ напоролся Переоптимизированный для amd64 код умудряется порождат... большой текст свёрнут, показать
     
  • 2.17, Аноним (17), 16:49, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Можно.
     
  • 2.68, Аноним (68), 22:42, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Самое главное из статьи непонятно: сжатые модным нг файлы "консервативным" zlib можно
    > распаковать или нет?

    Конечно. Иначе нафиг он уперся, можно сразу zstd какой-нибудь было взять. С его размерами словарей лучшее сжатие будет обеспечено хотя-бы на одном этом если есть где развернуться.

     
  • 2.170, kissmyass (?), 19:39, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    а твой консервативный zlib однопоточный?

    пойду натру свой pbzip2 и 12 ядерный кирпич

     

     ....большая нить свёрнута, показать (31)

  • 1.18, Аноним (18), 16:51, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    >Код проекта написан на языке Си

    Как это приятно видеть на фоне нынешней растомании.

     
     
  • 2.19, ИмяХ (?), 16:56, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –7 +/
    Ага, а потом куча вирусор поплывет по интернету через какие нибудь уязвимости
     
     
  • 3.22, Аноним (-), 17:05, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Ну когда же они поплывут ? Уже сколько лет обещают и все никак не плывут.
     
     
  • 4.26, Аноним (26), 17:51, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Heartbleed? Не, не слышал, ведь ты тогда ещё в школу ходил и не знал даже про opennet.
     
     
  • 5.28, Аноним (-), 17:58, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +6 +/
    А когда он стал вирусом ?
     
     
  • 6.103, Аноним (26), 23:59, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > +2
    > -3
    > +1
    > -2
    > +3

    Не понимаю, школьники или сифанатики минусуют и плюсуют? По факту же - heartbleed - ярчайший пример крупнейшей уязвимости - ни много ни мало, уязвимость года, которую можно было избежать, используй разрабы язык, защищающий именно от этого типа ошибок. Самый что ни на есть конкретный пример.

     
     
  • 7.123, Аноним (-), 05:15, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Вполне конкретный пример маркетингового булшита и набивания цены всякому хламу. В общем то что Торвальдс называет secutity circus. Но да, когда вы что-нибудь напрограммите и лажанетесь - так и быть, я с удовольствием потанцую и на вашей могилке, потому что долг платежом красен, а то что вы ни разу не лоханетесь - ну вот не факт.
     
     
  • 8.141, Аноним (26), 09:41, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну вот нет же, Вы даже не ответили, как так вышло, что данные из-за Heartbleed п... текст свёрнут, показать
     
     
  • 9.189, Аноним (188), 00:30, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Факт вы занимаетесь софистикой и маркетинговым булшитом Ну как, полегчало ... текст свёрнут, показать
     
     
  • 10.226, InuYasha (??), 10:40, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    10... текст свёрнут, показать
     
  • 5.64, Аноним (-), 22:33, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И где вирусы на его основе? Вот именно вирус на основе heartbleed сделать - на удивление нетривиальная задача. Как вы это себе представляете вообще?
     
     
  • 6.96, Аноним (26), 23:50, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    <sarcasm>А где вирус для браузера на основе Spectre?</sarcasm>
    Между вирусом, червём, ботнетом, дроппером, криптоджеком, шифровальщиком и прочими зловредами - разница не мальнькая. А сравнивать уязвимость и вирус - тёплое и мягкое. Да и далеко не каждый вирус получает неканцеляритное название.
    Не просто так наверное утекли данные как минимум одной коммерческой больницы. Не просто так многие сайты во внеочередном порядке либо принудительно, либо просто попросили пользователей сменить пароли.

    Хотя о чём это я? Собирай свой портфель - завтра в школу!

     
  • 6.99, Аноним (26), 23:54, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Первая попавшаяся с хабра статья:
    https://habr.com/ru/post/218661/
     
     
  • 7.125, Аноним (-), 05:17, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Первая попавшаяся с хабра статья:

    И где там вирусы которые обещал тот тупизень?

     
     
  • 8.143, Аноним (26), 09:44, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Вирусы никто не обещал, ты сам себе напридумывал невесть чего А там всего лишь ... текст свёрнут, показать
     
     
  • 9.190, Аноним (188), 00:31, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И даже тут вранье у маркетоида - https www opennet ru openforum vsluhforumID3 ... текст свёрнут, показать
     

  • 1.20, mumu (ok), 17:02, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Они только про оптимизацию или есть всё же шанс дождаться там поддержки Zip64/Deflate64?
     
  • 1.30, B (?), 18:18, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    >>  Код проекта написан на языке Си

    Nenuzhno^3

     
     
  • 2.126, Аноним (-), 05:18, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Nenuzhno^3

    Элементарно, Ватсон! Не нравится - не используй.

     

  • 1.32, qc (?), 18:21, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Интересно было бы увидеть сравнение с zopfli.
     
     
  • 2.33, C (?), 18:47, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Парсер у них вероятно старый от zlib
     
     
  • 3.38, qc (?), 19:41, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Вроде на странице гихаба зопфли написано что он медленный но сжимает лучше злиба, так что в их сравнии меня бы скорее интересовало качество сжатия. Или парсер влияет и на это?
     
     
  • 4.50, Аноним (51), 21:59, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    там казнитьнильзяпамилавать написано, стремновато если честно
     
  • 2.66, Аноним (-), 22:39, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Zophli ровно обратную задачу решает хрен с ней с скоростью, зато максимально пл... большой текст свёрнут, показать
     
     
  • 3.97, qc (?), 23:51, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо за разъяснения)
     

  • 1.37, Аноним (37), 19:29, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –9 +/
    > но предоставляет дополнительные оптимизации, не принятые в официальный репозиторий zlib из-за консервативного подхода к приёму изменений

    Вредителям из zlib желаю тяжелого коронавируса, а всем дистрибутивам перейти на zlib-ng.

     
     
  • 2.40, Аноним (40), 20:48, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ага, сидят и видят как бы не принять улучшение в проект
     
  • 2.248, edo (ok), 23:28, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    вы это пожелали человеку, который сделал свободную реализацию deflate, вылизал её для запуска на куче (в том числе и экзотических) архитектур — сделал то, благодаря чему deflate/zlib/gzip стали стандартом de facto.

    и только потому, что он не бежит принимать патчи, качество которых вызывает сомнения?

    пока zlib-ng не работает под кучей архитектур. и через день после релиза уже вышли исправления, он оказался сломанным:
    https://github.com/zlib-ng/zlib-ng/releases/tag/2.0.1

    а плохой, почему-то, Марк Адлер (автор/мейнтейнер оригинального zlib).

     

  • 1.41, Аноним (41), 20:52, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > добавлена реализация алгоритма вычисления контрольных сумм Adler32,
    > оптимизированная при помощи инструкций SSSE3, AVX2, Neon и VSX
    >
    > Adler32

    лол

     
     
  • 2.47, омоним (?), 21:30, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > лол

    В чём?

     
     
  • 3.54, Аноним (-), 22:10, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    смишная нируская фамилия наверное
     
  • 3.91, Аноним (41), 23:23, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> лол
    > В чём?

    Там от силы 20 строчек кода...

     
     
  • 4.158, Аноним (-), 14:44, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Гагаг, фу лол, надо было 21 . так чтоли получается ?
     
  • 4.259, n00by (ok), 12:50, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А вот 5 строк, принёсшие Криске Касперски мировую известность.




    int main()
    {
        unsigned long c, c2, p2, pol = 0xEDB88320;
        long n, k;
        {
            printf("CRC32 Adjuster (c) 2001 by RElf @ HHT/2\n");
            printf("Length of data: "); scanf_s("%ld", &n);
            printf("Offset to patch: "); scanf_s("%ld", &k);
            n = (n - k) << 3;
            printf("Current CRC32: 0x"); scanf_s("%x", &c);
            printf("Desired CRC32: 0x"); scanf_s("%x", &c2);
            c ^= c2;
            p2 = (pol << 1) | 1;
            while (n--) if (c & 0x80000000) c = (c << 1) ^ p2; else c <<= 1;
            printf("XOR masks:%02X%02X%02X%02X\n", c & 0xff, (c >> 8) & 0xff, (c >> 16) & 0xff, c >> 24);
        }
        return 0;
    }



     

  • 1.42, омоним (?), 20:58, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Потестил с lzbench Результаты code lzbench 1 8 64-bit Linux Assembled by... большой текст свёрнут, показать
     
     
  • 2.48, Аноним (37), 21:37, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    То есть оно ещё и жмёт лучше. Сууупер.
     
     
  • 3.49, омоним (?), 21:52, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Наоборот же - хуже! :-)
    Оригинальный файл: 202372260 байтов.
    Сжатый zlib -1: 11590367
    Сжатый zlib-ng -1: 16526984

    И для других режимов то же самое.
    Но скорость выше, это да.

     
     
  • 4.57, Анонимленьлогиниться (?), 22:19, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Имхо - баг (зарепортите им).

    -1 и -2 в zlib не интересны вот практически никогда вообще. -3 - тот актуален, но на нем и выше проблем не наблюдается.

    Как лего видно из этих цифр, относительно -3, -1 дает +50% файл при 6-8% приросте скорости компресии и таком же падении скорости декомпресии: в жизни это не интересно вот совершенно.

    Если вы попробуете с другим набором, получите ту же картину. -3 это по факту минимальный режим, используемый кем-либо в zlib.

     
     
  • 5.65, омоним (?), 22:35, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Имхо - баг

    Почему это?
    Они гарантируют более высокую скорость и совместимость с deflate.
    Лучшее сжатие никто не обещал.
    Их официальные бенчмарки тоже показывают худшее сжатие.

     
     
  • 6.74, Аноним (68), 22:49, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Их официальные бенчмарки тоже показывают худшее сжатие.

    Там разница в пределах погрешности. А zophli все-равно обоих натянет - если ждать результат не заколебетесь.

     
     
  • 7.84, омоним (?), 23:09, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Там разница в пределах погрешности.

    Ну так они и не мой файл использовали. :-)
    Когда-нибудь поднатужусь, и встрою в lzbench datagen из zstd.
    Но не сегодня. :)

     
     
  • 8.127, Аноним (-), 05:21, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А твой файл вообще очень синтетический походу Процент сжатия злобный, скорость ... текст свёрнут, показать
     
  • 6.136, Анонимленьлогиниться (?), 09:03, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >> Имхо - баг
    > Почему это?
    > Они гарантируют более высокую скорость и совместимость с deflate.
    > Лучшее сжатие никто не обещал.
    > Их официальные бенчмарки тоже показывают худшее сжатие.

    Худшее там - в пределах погрешности.

    Так-то даже в 7zip если форсировать однотредовый режим, сжатие будет чуть выше, чем в многотредовом. Но +300 или 500% к скорости при 1% потере сжатия волнуют мало кого, к счастью, нужно уметь сопоставлять выгоду и проигрыш...

     
  • 3.70, Аноним (68), 22:46, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > То есть оно ещё и жмёт лучше. Сууупер.

    Примерно однохренственно оно жмет. Если надо суперсжатие в этот формат любой ценой тебе zophli какой, или реализация из 7zip'а. Но они тормозные аки трактор, пытаются подбирать более оптимальное представление формата ценой хреновой кучи использования проца и оперативы.

     

  • 1.43, Аноним (43), 21:18, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Зачем, если есть lbzip2?
     
     
  • 2.46, timur.davletshin (ok), 21:26, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда уже лучше lzip (алгоритм xz) - жмёт лучше, быстрее, тоже умеет восстановление файлов (в отличие от оригинального xz).
     
  • 2.72, Аноним (68), 22:47, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Зачем, если есть lbzip2?

    Bzip2 в 2020 году вообще совсем ни о чем. Жмет заурядно. Упаковка не быстрая. Распаковка откровенно тормозная, примерно как упаковка (lz-based на распаковку сильно упаковки быстрее обычно). И зачем бы он такой? Вот на него все и забили...

     
     
  • 3.77, timur.davletshin (ok), 22:55, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Зачем, если есть lbzip2?
    > Bzip2 в 2020 году вообще совсем ни о чем. Жмет заурядно. Упаковка
    > не быстрая. Распаковка откровенно тормозная, примерно как упаковка (lz-based на распаковку
    > сильно упаковки быстрее обычно). И зачем бы он такой? Вот на
    > него все и забили...

    Для начала bzip2 умеет какую-то хоть возможность восстанавливать архивы. Из новых только lzip умеет её. У остальных же несколько битых байтов обозначают смерть всего архива практически гарантированно. Ну и банально он везде практически есть. Да и война с форматами архивов у юниксов вообще в традициях. Сколько пердолей было с переездом с оригинального compress с его .Z архивами на gzip...

     
     
  • 4.86, Аноним (81), 23:12, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Довольно маргинальную И если это реально было надо - есть утилиты реализующие к... большой текст свёрнут, показать
     
     
  • 5.88, timur.davletshin (ok), 23:19, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Это специфичная фича, нужная в основном для всякого архивного хранения.

    Алло, гараж, речь про архиватор была. Повторю, А-Р-Х-И-В-А-Т-О-Р используют для упомянутого тобой архивного хранения. Люди не только исходники с гихаба качают, а и хранят уникальный контент. Старые архивы таки иногда портятся и, если нет механизма восстановления, то прощайте данные.

    > легаси...

    GZIP не легаси, а BZIP2 легаси? Это на основании чего такой вывод? Или brotli уже стал архиватором общего назначения?

     
     
  • 6.93, Аноним (-), 23:30, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если надо именно это - логично с recovery info каким делать, по типу par какого ... большой текст свёрнут, показать
     
     
  • 7.105, timur.davletshin (ok), 00:07, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    https www nongnu org lzip xz_inadequate html 8212 просто так, навеяло Неко... большой текст свёрнут, показать
     
     
  • 8.111, Аноним (7), 01:39, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я бы на вашем месте эту писульку не упоминал почём зря -- автор там, как минимум... текст свёрнут, показать
     
     
  • 9.120, timur.davletshin (ok), 04:58, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Давай я тебе рандомно побью архив и мы посмотрим, как ты его восстановишь, догов... текст свёрнут, показать
     
     
  • 10.191, Аноним (188), 00:35, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если это меня беспокоит, я, для начала, RAID1 на btrfs юзаю И наткнувшись на ду... текст свёрнут, показать
     
     
  • 11.194, timur.davletshin (ok), 00:44, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Для начала, raid1 с btrfs - тупое говно-решение Если тебе нужно восстановление,... текст свёрнут, показать
     
     
  • 12.208, Аноним (208), 03:06, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я думаю что моя квалификация позволяет принимать мне решения как мне хранить мои... большой текст свёрнут, показать
     
     
  • 13.217, timur.davletshin (ok), 07:15, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это и называется апломб Но ты продолжай юзать raid в btrfs, он же ни у кого не ... текст свёрнут, показать
     
     
  • 14.229, пох. (?), 11:32, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ты бы лучше расписал детали, что и где у тебя пошло не так - хоть какая-то польз... текст свёрнут, показать
     
     
  • 15.257, Аноним (-), 05:19, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я тебе даже расписывал как я его на машине с битой RAM гонял, в DUP конфигурации... большой текст свёрнут, показать
     
     
  • 16.283, пох. (?), 19:56, 27/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    я Тимура спрашивал, вообще-то То что в твоем специфическом случае оно работало ... текст свёрнут, показать
     
  • 15.258, Аноним (-), 05:27, 20/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Самое крутое - на выдернутой без отмонтирования флехе видимо слетел erase block,... большой текст свёрнут, показать
     
  • 8.129, Аноним (-), 05:31, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это все круто, только имеет смысл в очень некоторых применениях Видите ли смотр... большой текст свёрнут, показать
     
     
  • 9.131, timur.davletshin (ok), 05:43, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А что такое там происходит с данными в tar, что ваш убер архиватор не может пото... текст свёрнут, показать
     
     
  • 10.193, Аноним (193), 00:44, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если декомпрессор вернул отлуп что ошибка в данных, до попытки парсинга tar дело... большой текст свёрнут, показать
     
     
  • 11.195, timur.davletshin (ok), 00:46, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Извините, вы читать не умеете ... текст свёрнут, показать
     
  • 11.196, timur.davletshin (ok), 00:49, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Удачи Один RAID1 предлагает, другой вообще несколько копий всего держит Линукс... текст свёрнут, показать
     
     
  • 12.210, Аноним (-), 03:16, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну а нафиг мне полувосстановленный рабочий проект например Что с ним делать До... текст свёрнут, показать
     
  • 11.197, timur.davletshin (ok), 00:51, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А если заголовок побит, то всё ... текст свёрнут, показать
     
     
  • 12.209, Аноним (-), 03:14, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Зависит от У zip, например, заголовков как таковых два Один конденсировано в... текст свёрнут, показать
     
     
  • 13.214, timur.davletshin (ok), 07:01, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Поменьше болтовни, про tar c gz bz2 я и без тебя знаю, побольше про свой любимый... текст свёрнут, показать
     
     
  • 14.285, Аноним (-), 01:35, 05/04/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Увы, я не верю в серебряные пули - и поэтому предпочитаю формат под задачу выбир... текст свёрнут, показать
     
  • 9.132, timur.davletshin (ok), 05:53, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Речь идёт об алгоритме, который работает в том числе на слабых IoТ устройствах и... большой текст свёрнут, показать
     
     
  • 10.198, Аноним (-), 00:57, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Им bz2 совсем не друг, там проблемы со всем и сразу - и плотное сжатие все хотят... большой текст свёрнут, показать
     
  • 6.95, Аноним (7), 23:50, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Смотри. Взять lzma вместо bz2 -- первый жмёт быстрее и лучше второго, добавить парити на сэкономленное место, и в итоге получить по-настоящему устойчивый к повреждениям файл так ещё и ещё остаться в плюсе по экономии места. https://www.opennet.dev/openforum/vsluhforumID3/123533.html#178
     
     
  • 7.98, timur.davletshin (ok), 23:54, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Смотри...

    Вперёд! Миру нужен ещё один формат архивов.

     
     
  • 8.106, Аноним (7), 00:09, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Так там тот же тар Просто сжат получше ... текст свёрнут, показать
     
  • 8.130, Аноним (-), 05:33, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не, блин, будем до упора пользоваться ископаемой архаикой, тормозной как трактор... текст свёрнут, показать
     
     
  • 9.133, timur.davletshin (ok), 06:04, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ты par видимо не застал, его одно время форсили Там один криво реализованный ал... текст свёрнут, показать
     
     
  • 10.199, Аноним (-), 01:02, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Когда ничего лучше не было - форсили А так то алгоритмы сжатия, вот, развиваютс... текст свёрнут, показать
     
  • 4.94, Аноним (7), 23:35, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Было бы здорово, если бы было можно прицепить парити к файлу. Ну там по типу ntfs-streams, а то в xattr слишком много ограничений для такого. Сколько там 1 поле ограничего 64кб и всего 255 полей или всего 64кб на всё? Я не помню. А так бы взял приложил к любому файлу 5% парити и ты в шоколаде. А это всё "восстановление" полнейшая лажа -- файлы всё равно битые и часть данных потеряется.
     
     
  • 5.100, timur.davletshin (ok), 23:55, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > файлы всё равно
    > битые и часть данных потеряется.

    Весь уровень знаний в одной фразе.

     
     
  • 6.104, Аноним (7), 00:06, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну сорян, я правда не слышал чтобы какое-либо парити хотя бы по типу кода рида-соломона было в том же bz2, не говоря уже об остальных. Когда я исследовал вопрос, единственное заключение, к которому я пришёл: этот формат _возможно_ потеряет меньше данных из битого потока, но и только. И равндомно повредятся всё равно несколько файлов, поскольку bz2 их не различает. Или я тебя не понял?
     
     
  • 7.109, Аноним (-), 01:03, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Так еще и по bz2 ыксперд ? Десять салом онов из десяти :D
     
     
  • 8.112, Аноним (7), 01:41, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Меня почему-то раздражает твоя тупость Хотя я не часто встречаю таких самонадея... текст свёрнут, показать
     
     
  • 9.149, Аноним (-), 11:54, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Удивительно, но моя мудрость спровоцирована твоей глупостью ... текст свёрнут, показать
     
  • 7.134, timur.davletshin (ok), 06:08, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну сорян, я правда не слышал чтобы какое-либо парити хотя бы по
    > типу кода рида-соломона было в том же bz2, не говоря уже
    > об остальных. Когда я исследовал вопрос, единственное заключение, к которому я
    > пришёл: этот формат _возможно_ потеряет меньше данных из битого потока, но
    > и только. И равндомно повредятся всё равно несколько файлов, поскольку bz2
    > их не различает. Или я тебя не понял?

    Да, его нет. Парити обеспечивали ленточные накопители, под которые tar и проектировался когда-то. Кто там сейчас из дисковых или твердотельных накопителей парити умеет? Или уже портиться они перестали? Парити в par/dar фиксили, первое не взлетело, второе вроде даже ещё шевелится.

     
     
  • 8.171, Аноним (7), 19:46, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Что это пар не взлетело А что же я каждый день на файлообменных форумах вижу ег... текст свёрнут, показать
     
     
  • 9.172, Аноним (7), 19:53, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Правда нужно учитывать что на ссд скорее всего вылетать будут блоки не 512 байт ... текст свёрнут, показать
     
     
  • 10.278, Аноним (-), 01:04, 27/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    1 FEC делается _постранично_ И вылетает страница, если FEC не выдюжил вон то к... большой текст свёрнут, показать
     
  • 9.173, timur.davletshin (ok), 20:00, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я не знаю, по каким местам вы шастаете кстати, а где , но в дикой природе я ег... текст свёрнут, показать
     
     
  • 10.284, пох. (?), 20:00, 27/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    варезник, небось там критично свойство архиватора нарезать мелкими ломтиками, ну... текст свёрнут, показать
     
  • 7.200, Аноним (-), 01:06, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Ну сорян, я правда не слышал чтобы какое-либо парити хотя бы по
    > типу кода рида-соломона было в том же bz2,

    Да нет там ничего такого, он просто состояние компрессора каждый блок сбрасывает. От чего и имеет проблемы с неважным сжатием, но декомпресс при факапе можно начать с нового блока. В случае solid сжатия - с момента сбоя в декомпреснутом потоке ессно труха и хвост не декодируем совсем.

    А таки да, рид-соломон и т.п. при правильном применении будет сильно эффективнее, загасив сбой в ноль, ценой некоего оверхеда. В том бомж-репайре видите ли вообще совсем никаких гарантий относительно того что накроется и что починится. Поэтому те кому надо было всерьез юзают FEC конечно же, или просто делают несколько копий.

     
  • 2.102, Твоя мама (?), 23:57, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    bzip вообще не нужен, xz на низких степенях сжатия (-3 и около того) жмёт быстрее и сильнее.
     
     
  • 3.273, edo (ok), 20:15, 21/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Справедливости ради, на некоторых входных данных bzip2 сжимает эффективнее, чем xz. Но в целом согласен, при наличии xz и zstd bzip2 не особо актуален.
     

     ....большая нить свёрнута, показать (50)

  • 1.44, timur.davletshin (ok), 21:19, 17/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Я не пойму, почему столько негатива? Если будет гарантировать совместимость на уровне ABI, то во времена, когда никто не уделяет время оптимизации кода, а только увеличивает кол-во слоёв-абстракций, это вообще бесценно.
     
     
  • 2.73, Аноним (68), 22:48, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Я не пойму, почему столько негатива? Если будет гарантировать совместимость на уровне
    > ABI, то во времена, когда никто не уделяет время оптимизации кода,
    > а только увеличивает кол-во слоёв-абстракций, это вообще бесценно.

    Да даже хрен с ним с ABI, нехай API + формат данных останется тем же. А софт можно и рекомпильнуть накрайняк.

     
     
  • 3.75, timur.davletshin (ok), 22:51, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Я не пойму, почему столько негатива? Если будет гарантировать совместимость на уровне
    >> ABI, то во времена, когда никто не уделяет время оптимизации кода,
    >> а только увеличивает кол-во слоёв-абстракций, это вообще бесценно.
    > Да даже хрен с ним с ABI, нехай API + формат данных
    > останется тем же. А софт можно и рекомпильнуть накрайняк.

    Если формат данных разный, то это очередные пердоли, как с gzip и zlib, когда алгоритм одинаковый, а формат чуток отличается. Как ты себе представляешь PNG со своим особенным ZLIB'ом внутри?

     
     
  • 4.89, Аноним (-), 23:19, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Так при чем тут ABI ABI это _бинарный_ интерфейс программа - либа На уровне ... большой текст свёрнут, показать
     
     
  • 5.92, timur.davletshin (ok), 23:23, 17/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Так при чем тут ABI?

    Ну что ты городишь? Ну вот тебе, например, libjpeg-turbo бинарно совместим с libjpeg и я могу просто использовать первую со старыми пропритарными программами, слинкованными с обычным libjpeg.

     
     
  • 6.202, Аноним (-), 01:10, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну что ты городишь? Ну вот тебе, например, libjpeg-turbo бинарно совместим с
    > libjpeg и я могу просто использовать первую со старыми пропритарными программами,
    > слинкованными с обычным libjpeg.

    И чего? Со своей стороны я считаю что опенсорсникам хватит и совместимости API. А насколько там древность корректно будет работать с вон той версией вон той либы - очень отдельный вопрос.

     
  • 5.147, uis (ok), 11:17, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Так при чем тут ABI? ABI это _бинарный_ интерфейс программа <-> либа.
    > На уровне какие регистры что содержат при вызове, что из функции
    > возвращается и куда и проч. Вот это совпадать не обязано. А
    > на уровне _апи_ (вызвать функцию с теми же параметрами и сравнимым
    > результатом)

    Изменение, например, порядка аргументов меняет их размещение в регистрах. Добавление и удаление - тоже.

     
     
  • 6.155, timur.davletshin (ok), 12:42, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >> Так при чем тут ABI? ABI это _бинарный_ интерфейс программа <-> либа.
    >> На уровне какие регистры что содержат при вызове, что из функции
    >> возвращается и куда и проч. Вот это совпадать не обязано. А
    >> на уровне _апи_ (вызвать функцию с теми же параметрами и сравнимым
    >> результатом)
    > Изменение, например, порядка аргументов меняет их размещение в регистрах. Добавление и
    > удаление - тоже.

    Что сказать-то хотел, кэп?

     
     
  • 7.230, uis (ok), 12:12, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Что сказать-то хотел, кэп?

    Что бинарной совместимости не жди

     
  • 6.201, Аноним (-), 01:08, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Изменение, например, порядка аргументов меняет их размещение в регистрах. Добавление и
    > удаление - тоже.

    Я об этом догадывался :)

     

  • 1.116, Аноним (116), 03:36, 18/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Добиться существенного повышения производительности сжатия/распаковки в основном удалось благодаря задействованию векторных инструкций SSE*, AVX2, VSX и Neon.

    Неужели в GCC автовекторизатор на -O3 работает настолько плохо?

     
     
  • 2.146, uis (ok), 11:13, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Неужели в GCC автовекторизатор на -O3 работает настолько плохо?

    Обычно хуже, чем ручками

     
  • 2.166, пох. (?), 17:14, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    он вообще никак не работает. Что бы там секта свидетелей -O9 не бормотала. Собственно, он даже в прекрасном icc не работает.

    Чтобы автовекторизатор подхватил твой код, надо написать такое бюэээ, которое во-первых абсолютно нечитаемо, во-вторых, внезапно - совершенно неоптимально для исполнения на основном процессоре.

    Поэтому проще сразу написать на ассемблере - его знание тебе все равно понадобится.

    Единственный бонус от писания под "автовекторизаторы" - такой код худо-бедно компилируется везде, не требуя пресловутых ifdef и стремных тестов по автоугадаву наличных фич компилятора. Но работает плохо.

    Но одновременно avx2/sse и neon - это все равно фантастика, ненаучная.

     
     
  • 3.204, Аноним (204), 02:37, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Поэтому проще сразу написать на ассемблере

    Есть ещё промежуточный вариант - интринсики. Чуть удобнее ассемблера.

    > его знание тебе все равно понадобится.

    Это да.

     
     
  • 4.219, пох. (?), 08:41, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Есть ещё промежуточный вариант - интринсики. Чуть удобнее ассемблера.

    теперь тебе надо не только знать ассемблер и архитектуру (три разных, как в этом проекте), но еще и замысловатый синтаксис конкретного компилятора ;-)

    Фиг знает, удобнее или нет - я так и не осилил, каждый раз матерюсь, натыкаясь в чужом коде.
    Как по мне - asm {} были удобочитаемей. Правда, регистры надо сохранять самому.

    Причем от необходимости проверять, умеет ли данная связка конкретной версии gcc и конкретной версии gas конкретно твой avx2 ни разу не избавляет.

     
     
  • 5.232, Аноним (204), 12:50, 19/03/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ? Наоборот же. Интринсики описываются в .h файле и имеют тот же самый С-интерфейс для каждого компилятора, который их поддерживает. А синтаксис блока asm {} и его взаимодействия с остальным С-кодом как раз любит чуть-чуть отличаться от компилятора к компилятору.
     
  • 5.279, Аноним (-), 01:24, 27/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Немного не так Теперь надо знать возможности архитектуры и желаемую операцию... большой текст свёрнут, показать
     

  • 1.117, Аноним (116), 03:41, 18/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    >проведена чистка кода от обходных решений, используемых в zlib для поддержки старых компиляторов и платформ

    смузихлёбов хлебом не корми, дай что-нибудь обозвать старым и устаревшим и выбросить

    >но мешающих реализации более эффективных методов

    Ну да, конечно, ну прям совсем-совсем мешающих, сохранить совместимость было совсем-совсем невозможно.

     
     
  • 2.167, пох. (?), 17:16, 18/03/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > смузихлёбов хлебом не корми, дай что-нибудь обозвать старым и устаревшим и выбросить

    а оно у них все равно не собирается на тех платформах. Или ты думал, в сказку попал?

    > сохранить совместимость было совсем-совсем невозможно.

    да, но нет. В смысле - их основной проект уже послал, поэтому уже незачем.

     

  • 1.145, uis (ok), 11:12, 18/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А сжатие как? Если не ухудшилось, то хорошо, годно.
     
  • 1.176, макпыф (ok), 22:53, 18/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    собрал и установил, собранные с обычным zlib проги норм работают без пересборки
     
  • 1.177, Аноним (179), 23:17, 18/03/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я думал zlib уже давно оптимизирован по самые уши, а тут оно вон что. Жду в дистрибутивах.
     
  • 1.286, Аноним (286), 03:07, 03/01/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Да уж. Тоже мне бинарная совместимость... Попытался через LD_LIBRARY_PATH заменить стандартную /lib/libz.so.6 на libz-ng.so.2.0.6:

    $ mc
    ld-elf.so.1: /usr/local/lib/libz.so.6: version ZLIB_1.2.4.0 required by /usr/local/lib/libssh2.so.1 not found

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру