forum.opennet.ru

"Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Заметили полезную информацию ? Пожалуйста добавьте в FAQ на WIKI.

"Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов"	+/–
Сообщение от opennews (??), 25-Мрт-24, 12:51
Проект Pack предпринял попытку создания формата для архивирования файлов, построенного на базе библиотеки SQLite и алгоритма сжатия ZSTD (Zstandard). Подготовленный прототип, написанный на языке Pascal и распространяемый под лицензией Apache 2.0, обогнал по скорости создания архивов наиболее распространённые архиваторы, при том, что его работа сводилась к чтению данных, сжатию библиотекой libzstd и выполнению SQL-операций по добавлению сжатых данных в файл с БД SQLite... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=60842
Ответить \| Правка \| Cообщить модератору

Оглавление

Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов, opennews, 25-Мрт-24, 12:51 [смотреть все]

А почему бы не исолпльзовать tar с zstd Ну и для 7z где-то были эксперименты с , Guest, 25-Мрт-24, 12:51 (1) //
- Степени сжатия 7z можно достичь, используя xz, который по-умолчанию обычно уже е, Lui Kang, 25-Мрт-24, 19:07 (56) //
  - tar умеет создавать всё и всегда tar -c 124 xz file txz - , _oleg_, 26-Мрт-24, 13:46 (95) //
    - тем временем -J, --xz c mode only Compress the resulting arch, гыгы, 28-Мрт-24, 14:00 (105)
      - Что ты этим хотел сказать , _oleg_, 28-Мрт-24, 15:16 (106)
        
        а ты догадайся подсказка tar 1 означает что скопировано из General Commands Ma, гыгы, 03-Апр-24, 13:34 (109)
        
        FACEPALM Возьми с полки пирожок Дальше-то что Раскрой свою мысль Или тебя п, _oleg_, 03-Апр-24, 13:40 (110)
        
        Похвали, конечно Трудно что ли , Аноним, 03-Апр-24, 15:26 (111)
        
        Да что это я, действительно Молодец , _oleg_, 03-Апр-24, 15:39 (112)
        
        мысль проста вые ся нужно уметь ты - не умеешь хотя, если ты из банды cat som, гыгы, 04-Апр-24, 11:19 (113)
        
        Аха - Мда Скопировал кусок man а, выдал какую-то невероятную мысль Что хоте, _oleg_, 16-Апр-24, 12:59 (114)
      - Это тоже самое , anonymous, 31-Мрт-24, 21:01 (108)
Победил 7z Пофиг, что затратил 54 2 с, зато сильнее всех пожмакал , Аноним, 25-Мрт-24, 12:55 (2) //
- В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать, Аноним, 25-Мрт-24, 14:07 (28) //
  - Да не факт Вы что, из америки где везде есть интернет, электричество и паркинг, Аноним, 25-Мрт-24, 18:21 (53) //
    - Мы из России Тут интернет плохой в небольших удаленных поселках Но 1МБ с -- эт, tty0, 25-Мрт-24, 23:23 (75)
- Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания , Аноним, 25-Мрт-24, 17:11 (42)
- Тогда уж xz Только там еще дольше , Аноним, 25-Мрт-24, 20:06 (60) //
  - Там тот же lzma только в формате потока, поточные компрессоры всегда будут дават, Аноним, 25-Мрт-24, 20:11 (62)
- 7z не дедуплицирует данные, поэтому годится только для маленьких и скучных набор, Аноним, 25-Мрт-24, 20:08 (61) //
  - Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs Если , fuggy, 25-Мрт-24, 22:46 (72) //
    - Если словарь достаточного размера Типичный архив в него не влезает, кроме того,, Аноним, 25-Мрт-24, 22:50 (73)
Джипеги же жали, да , Аноним, 25-Мрт-24, 12:58 (3)
rar одного размера с zip Подозрительно rar обычно лучше сжимает , GhostX, 25-Мрт-24, 13:00 (4) //
- Разный же 253 и 235 Мб, ануснимус, 25-Мрт-24, 13:14 (10)
В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно О, Аноним, 25-Мрт-24, 13:04 (5) //
- С одной стороны соглашусь, с другой нет SQLite поставляется во всех массовых ди, человек, 25-Мрт-24, 13:19 (14) //
  - Скулайт он как питон, второй лучший вариант в любой сфере Только тут задачи при, Аноним, 25-Мрт-24, 13:35 (18)
  - Отлично, давайте использовать везде pickle, зачем нам какие-то JSON, CBOR, npy, , Аноним, 26-Мрт-24, 02:38 (84)
- Тут нечего смотреть Бенчи Сыкулита будут 177 1 от того архиватора, который п, Аноним, 25-Мрт-24, 18:27 (54)
Вообще они немножко опоздали, таких штук было уже наваломhttps github com phir, Аноним, 25-Мрт-24, 13:06 (6) //
- Душнила Весь кайф поломал D, YetAnotherOnanym, 25-Мрт-24, 13:10 (9)
- В новости речь про воссоздание архиватора на базе SQLite, а sqlite-zstd - дополн, Аноним, 25-Мрт-24, 13:17 (13)
- Ну раз пошла такая пьянка https codeberg org KOLANICH-libs Cache py, Аноним, 25-Мрт-24, 13:47 (27)
жду реализации для http-статики в духе времени будет, Аноним, 25-Мрт-24, 13:09 (7) //
- Для веб-архивирования Как раз есть аддон SingleFile, который выгружает все ресу, Алкоголизм, 25-Мрт-24, 15:02 (37)
- https wiki openzim org wiki ZIM_file_format со сжатием, есть просмотрщики При, fuggy, 26-Мрт-24, 15:41 (97) //
  - Только нет вменяемых средств создания , merv, 26-Мрт-24, 21:59 (102)
Подозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него, YetAnotherOnanym, 25-Мрт-24, 13:09 (8) //
- То, что Pack оказался настолько быстрее Zip-а, конечно, подозрительно, но пусть , Аноним, 26-Мрт-24, 09:06 (86)
тест с zip был запущен при холодном кэше, а остальные тесты при прогретом Серьё, Аноним, 25-Мрт-24, 13:15 (11) //
- Чтобы дропнуть кэши надо записать 1 байт в специальный файл, очень сложно Да и , Аноним, 25-Мрт-24, 13:27 (16)
- Это очень важный пункт эксперимента Он наглядно демонстрирует, насколько стоит д, тоже Аноним, 25-Мрт-24, 13:44 (25) //
  - Не на то смотришь Если в намеренных данных не указаны ни доверительные интервал, Аноним, 25-Мрт-24, 14:15 (30)
  - Хорошо хоть что сами дали себе явную оценку в тестах Хотя по результата и так я, Аноним, 25-Мрт-24, 17:22 (44)
Безумству храбрых поём мы песню , Аноним, 25-Мрт-24, 13:16 (12)
Разве это не просто альтернативная реализация идеи https www sqlite org sqlar , Аноним, 25-Мрт-24, 13:24 (15)
Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор , Аноним, 25-Мрт-24, 13:32 (17) //
- в докер надо засунуть, тогда будет норм, Аноним, 25-Мрт-24, 13:35 (19) //
  - libsql, Алексей, 25-Мрт-24, 14:32 (31) //
    - systemd-sqlited, НяшМяш, 25-Мрт-24, 14:44 (32)
SQLite by design умеет исполнять произвольный код, поэтому даже просто открывать, Аноним, 25-Мрт-24, 13:37 (20) //
- Извините, но что это за uдuотская фича - исполнять код Это в смысле брешь в , Аноним, 25-Мрт-24, 18:19 (52) //
  - Споткнулся и выполнил, Прадед, 25-Мрт-24, 21:29 (64)
  - Штатная фича - https www sqlite org lang_createview html VIEW - эта такая ти, Аноним, 25-Мрт-24, 22:32 (71) //
    - Вы меня пугаете Программные хуки в SQLite выполняются софтом , tty0, 25-Мрт-24, 23:27 (77)
      - Хромому они не помогли , Аноним, 25-Мрт-24, 23:52 (79)
Напоминаю - zip -это контейнер, и туда могут быть добавлены произвольные компрес, Аноним, 25-Мрт-24, 13:40 (21) //
- даже PPMD очень не везде поддерживается В качестве реализации рекомендую https , Аноним, 25-Мрт-24, 13:44 (24) //
  - ppmd уже давно поддерживается в 7z Или ты смешивает ppmd и zstd , fuggy, 25-Мрт-24, 14:10 (29) //
    - в 7z - да, а вот во многих других реализациях помимо store и zlib в лучшем случа, Аноним, 25-Мрт-24, 14:45 (33)
      - По скорее бы завезли zstd в info-zip, уже много лет как zip поддерживает zstd в, Аноним, 25-Мрт-24, 19:59 (59)
        
        Мне плевать на тормозной до тех пор, пока замедление адекватно сжатию У lzma2, Аноним, 25-Мрт-24, 21:53 (68)
        
        Чего не хватает в 7z так это больше фильтров для разных типов файла как в winrar, fuggy, 25-Мрт-24, 22:55 (74)
        
        Так у 7z тот же brunsli для картинок есть уже много лет Как по мне, главная фич, Аноним, 25-Мрт-24, 23:24 (76)
        
        Я хочу это чтобы было в стандартной поставке Стратегии это по сути и есть препр, fuggy, 25-Мрт-24, 23:34 (78)
А где сравнение с утилитой zstd , Аноним, 25-Мрт-24, 13:41 (22)
Есть такой проект, Pigz называется, тотже gzip, но распаралленый Быстро работае, Аноним, 25-Мрт-24, 13:42 (23) //
- Плохо, что всё время забываешь -I pigz к tar подкидывать Его уже надо бы по-умо, НяшМяш, 25-Мрт-24, 14:49 (34) //
  - Сделай его системным , Аноним, 25-Мрт-24, 15:01 (36)
- pbzip2 тоже, но чуть лучше жмёт и при распаковке контрольную сумму проверяет m, Аноним, 25-Мрт-24, 16:44 (40)
Лучше пользоваться https github com mhx dwarfs И сжимает мощно, и вместо расп, topin89, 25-Мрт-24, 14:56 (35) //
- Эксперимент с использованием SQLite в качестве контейнера дл..., Аноним, 25-Мрт-24, 15:21 (38)
- Прежде всего тем, что может вытащить ЛЮБОЙ файл за минимальное время , Аноним, 25-Мрт-24, 17:54 (47) //
  - Не, нужно так писать, Аноним, 25-Мрт-24, 18:11 (51)
- А этот dwarfs в качестве хранилки библиотеки сойдет , непонятка, 27-Мрт-24, 06:26 (104) //
  - В целом да Но если данные сами по себе плохо сжимаются, то проще как есть в пап, topin89, 17-Апр-24, 13:04 (115)
Давно ищу архиватор способ чтоб в архиве сохранялась дата создания через stat эт, Аноним, 25-Мрт-24, 16:44 (39) //
- Если сам формат файла хранит только ОДНУ дату, вряд ли ты сможешь туда засунуть , Аноним, 25-Мрт-24, 17:53 (46)
- Это в какой именно более продвинутой А то у лапчатых например Birth был долго, Аноним, 25-Мрт-24, 18:00 (48) //
  - Тьфу, 4 там лишняя Но пингвинячий stat таки традиционно не поддерживает b_tim, Аноним, 25-Мрт-24, 18:06 (50)
- Не так и давно, поддержку birth иноды не столь и полезная для архивации информа, Аноним, 25-Мрт-24, 19:54 (57) //
  - Неужели вы до сих пор путаете архиватор с компрессором Использую для архивации , Аноним, 25-Мрт-24, 21:49 (66) //
    - Обрати внимание на быстрый произвольный доступ к сжатым данным , Аноним, 25-Мрт-24, 22:09 (70)
Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми сис, Аноним, 25-Мрт-24, 17:09 (41)
Это имеет смысл только на конкретных юзкейсах имеем один большой архив и период, Аноним, 25-Мрт-24, 17:51 (45)
Оверинженеринг, Аноним, 25-Мрт-24, 18:02 (49) //
- Прелестный эксперимент Чтоб подумать над результатом , Аноним, 25-Мрт-24, 19:57 (58)
Здравствуйте,I am the author of Pack, and I am happy to see you all interested i, O, 25-Мрт-24, 18:56 (55) //
- https www blackhat com docs us-17 wednesday us-17-Feng-Many-Birds-One-Stone-Ex, Аноним, 25-Мрт-24, 21:23 (63) //
  - And forgot to add For the purpose of this paragraph let s assumme that SQLite , Аноним, 25-Мрт-24, 21:32 (65) //
    - All are an will be statically linked They are not considered a shared library t, O, 26-Мрт-24, 00:55 (80)
      - Noone sane uses statically-linked libs and sane distros would never accept anyth, Аноним, 26-Мрт-24, 02:21 (82)
        
        Ты просто не пользовался скулайтом, он примерно всегда бандлится Или не заметил, Аноним, 26-Мрт-24, 10:43 (87)
        
        У неадекватов всё подряд бандлится, причём с обоснованием уровня а вот я тут гл, Аноним, 26-Мрт-24, 13:07 (89)
        
        Дело не в этом Лучше смотри на это с позиции когда мейнтенеры не будут возиться, Аноним, 26-Мрт-24, 13:24 (93)
        
        Да, есть такая проблема И это проблема в том числе самого SQLite Слишком много, Аноним, 26-Мрт-24, 14:40 (96)
        
        HeyI am sorry that you think like that Not much tracking, rather shared with me, O, 26-Мрт-24, 13:12 (90)
        
        I can give you a simple advice that will fix all issues in your format just adm, Аноним, 26-Мрт-24, 13:30 (94)
  - Some moar things I forgot to add If this format gets adoption, insecure implem, Аноним, 26-Мрт-24, 02:33 (83) //
    - Thank you for the interest - As long as they use the official work, it will be s, O, 26-Мрт-24, 13:24 (92)
      - The fast variant doesn t guarantee cleanup The slow one results in additional I, Аноним, 26-Мрт-24, 15:58 (98)
Предпочитаю squashfs для архивирования У него встроенное сжатие, но главное мож, BrainFucker, 25-Мрт-24, 21:52 (67) //
- Рекомендую dwarfs, он лучше, Аноним, 26-Мрт-24, 18:13 (100) //
  - Ок, подождём лет десять, как появится в репах дистрибутивов и если проект не буд, BrainFucker, 26-Мрт-24, 20:33 (101)
128077 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15 , DZgas, 26-Мрт-24, 11:39 (88) //
- File hierarchy is implemented using recursive ID In Item table, every Item gets, O, 26-Мрт-24, 13:17 (91)
В 7z мне не хватает CRC , Аноним, 27-Мрт-24, 06:15 (103)
некорректный дизайн теста паскаль no comments, mumu, 28-Мрт-24, 16:01 (107)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру