Ни к чему выпендрёж. У меня было аж несколько различных кейсов, где размер файла имел значение — это архивирование в облако и передача по сети, и я под это заморочился выяснить как можно сжать поэффективнее. Типичная задача для меня это пожать несколько билдов для разных платформ сумарным объёмом в пределах 5-15гб, и файлы там повторяются. Когда же билдов несколько версий, количество дубликатов соответственно увеличивается весьма значительно. О чём я и говорю, архиваторы не справляются. Был ещё кейс где сколько-то терабайт текстовых данных (ну т.е. жмутся очень хорошо, ага) и дубликаты там тоже были значительным процентом. Тут понятно что только потоковое сжатие возможно, но дедупликация тоже.

П.с. gzip слишком медленный и неудобный, лучше уж zstd (собственно, это предпочтительный формат, особенно когда данные придётся извлекать больше 1 раза) -- ещё бы дедуплицированный тар ему скармливать и было бы вообще прекрасно.