forum.opennet.ru

"Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Есть идеи по улучшению форума и сайта ? Пишите.

. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+1 +/–
Сообщение от O (?), 26-Мрт-24, 13:17
File hierarchy is implemented using recursive ID. In Item table, every Item gets linked to its parent by Parent field. On unpacking, they will be queried and verified. The hash of any compressed data is already stored and verified at the unpack step. It does not have an extra field, as it is stored together with the content. Each file or piece of data gets separated and/or joined with others as content, then compressed if seen as beneficial. Zstandard (the internal compression algorithm) uses xxHash together with a header to verify decompression. On unpacking, all needed Items (files or folders) get queried and checked, followed by all the ItemContents and related Contents. Each gets verified to be the correct size to prevent invalid memory access, and if decompression is needed, they will be double verified with their corresponding hash.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов, opennews, 25-Мрт-24, 12:51 [смотреть все]

А почему бы не исолпльзовать tar с zstd Ну и для 7z где-то были эксперименты с , Guest, 25-Мрт-24, 12:51 (1) //
- Степени сжатия 7z можно достичь, используя xz, который по-умолчанию обычно уже е, Lui Kang, 25-Мрт-24, 19:07 (56) //
  - tar умеет создавать всё и всегда tar -c 124 xz file txz - , _oleg_, 26-Мрт-24, 13:46 (95) //
    - тем временем -J, --xz c mode only Compress the resulting arch, гыгы, 28-Мрт-24, 14:00 (105)
      - Что ты этим хотел сказать , _oleg_, 28-Мрт-24, 15:16 (106)
        
        а ты догадайся подсказка tar 1 означает что скопировано из General Commands Ma, гыгы, 03-Апр-24, 13:34 (109)
        
        FACEPALM Возьми с полки пирожок Дальше-то что Раскрой свою мысль Или тебя п, _oleg_, 03-Апр-24, 13:40 (110)
        
        Похвали, конечно Трудно что ли , Аноним, 03-Апр-24, 15:26 (111)
        
        Да что это я, действительно Молодец , _oleg_, 03-Апр-24, 15:39 (112)
        
        мысль проста вые ся нужно уметь ты - не умеешь хотя, если ты из банды cat som, гыгы, 04-Апр-24, 11:19 (113)
        
        Аха - Мда Скопировал кусок man а, выдал какую-то невероятную мысль Что хоте, _oleg_, 16-Апр-24, 12:59 (114)
      - Это тоже самое , anonymous, 31-Мрт-24, 21:01 (108)
Победил 7z Пофиг, что затратил 54 2 с, зато сильнее всех пожмакал , Аноним, 25-Мрт-24, 12:55 (2) //
- В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать, Аноним, 25-Мрт-24, 14:07 (28) //
  - Да не факт Вы что, из америки где везде есть интернет, электричество и паркинг, Аноним, 25-Мрт-24, 18:21 (53) //
    - Мы из России Тут интернет плохой в небольших удаленных поселках Но 1МБ с -- эт, tty0, 25-Мрт-24, 23:23 (75)
- Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания , Аноним, 25-Мрт-24, 17:11 (42)
- Тогда уж xz Только там еще дольше , Аноним, 25-Мрт-24, 20:06 (60) //
  - Там тот же lzma только в формате потока, поточные компрессоры всегда будут дават, Аноним, 25-Мрт-24, 20:11 (62)
- 7z не дедуплицирует данные, поэтому годится только для маленьких и скучных набор, Аноним, 25-Мрт-24, 20:08 (61) //
  - Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs Если , fuggy, 25-Мрт-24, 22:46 (72) //
    - Если словарь достаточного размера Типичный архив в него не влезает, кроме того,, Аноним, 25-Мрт-24, 22:50 (73)
Джипеги же жали, да , Аноним, 25-Мрт-24, 12:58 (3)
rar одного размера с zip Подозрительно rar обычно лучше сжимает , GhostX, 25-Мрт-24, 13:00 (4) //
- Разный же 253 и 235 Мб, ануснимус, 25-Мрт-24, 13:14 (10)
В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно О, Аноним, 25-Мрт-24, 13:04 (5) //
- С одной стороны соглашусь, с другой нет SQLite поставляется во всех массовых ди, человек, 25-Мрт-24, 13:19 (14) //
  - Скулайт он как питон, второй лучший вариант в любой сфере Только тут задачи при, Аноним, 25-Мрт-24, 13:35 (18)
  - Отлично, давайте использовать везде pickle, зачем нам какие-то JSON, CBOR, npy, , Аноним, 26-Мрт-24, 02:38 (84)
- Тут нечего смотреть Бенчи Сыкулита будут 177 1 от того архиватора, который п, Аноним, 25-Мрт-24, 18:27 (54)
Вообще они немножко опоздали, таких штук было уже наваломhttps github com phir, Аноним, 25-Мрт-24, 13:06 (6) //
- Душнила Весь кайф поломал D, YetAnotherOnanym, 25-Мрт-24, 13:10 (9)
- В новости речь про воссоздание архиватора на базе SQLite, а sqlite-zstd - дополн, Аноним, 25-Мрт-24, 13:17 (13)
- Ну раз пошла такая пьянка https codeberg org KOLANICH-libs Cache py, Аноним, 25-Мрт-24, 13:47 (27)
жду реализации для http-статики в духе времени будет, Аноним, 25-Мрт-24, 13:09 (7) //
- Для веб-архивирования Как раз есть аддон SingleFile, который выгружает все ресу, Алкоголизм, 25-Мрт-24, 15:02 (37)
- https wiki openzim org wiki ZIM_file_format со сжатием, есть просмотрщики При, fuggy, 26-Мрт-24, 15:41 (97) //
  - Только нет вменяемых средств создания , merv, 26-Мрт-24, 21:59 (102)
Подозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него, YetAnotherOnanym, 25-Мрт-24, 13:09 (8) //
- То, что Pack оказался настолько быстрее Zip-а, конечно, подозрительно, но пусть , Аноним, 26-Мрт-24, 09:06 (86)
тест с zip был запущен при холодном кэше, а остальные тесты при прогретом Серьё, Аноним, 25-Мрт-24, 13:15 (11) //
- Чтобы дропнуть кэши надо записать 1 байт в специальный файл, очень сложно Да и , Аноним, 25-Мрт-24, 13:27 (16)
- Это очень важный пункт эксперимента Он наглядно демонстрирует, насколько стоит д, тоже Аноним, 25-Мрт-24, 13:44 (25) //
  - Не на то смотришь Если в намеренных данных не указаны ни доверительные интервал, Аноним, 25-Мрт-24, 14:15 (30)
  - Хорошо хоть что сами дали себе явную оценку в тестах Хотя по результата и так я, Аноним, 25-Мрт-24, 17:22 (44)
Безумству храбрых поём мы песню , Аноним, 25-Мрт-24, 13:16 (12)
Разве это не просто альтернативная реализация идеи https www sqlite org sqlar , Аноним, 25-Мрт-24, 13:24 (15)
Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор , Аноним, 25-Мрт-24, 13:32 (17) //
- в докер надо засунуть, тогда будет норм, Аноним, 25-Мрт-24, 13:35 (19) //
  - libsql, Алексей, 25-Мрт-24, 14:32 (31) //
    - systemd-sqlited, НяшМяш, 25-Мрт-24, 14:44 (32)
SQLite by design умеет исполнять произвольный код, поэтому даже просто открывать, Аноним, 25-Мрт-24, 13:37 (20) //
- Извините, но что это за uдuотская фича - исполнять код Это в смысле брешь в , Аноним, 25-Мрт-24, 18:19 (52) //
  - Споткнулся и выполнил, Прадед, 25-Мрт-24, 21:29 (64)
  - Штатная фича - https www sqlite org lang_createview html VIEW - эта такая ти, Аноним, 25-Мрт-24, 22:32 (71) //
    - Вы меня пугаете Программные хуки в SQLite выполняются софтом , tty0, 25-Мрт-24, 23:27 (77)
      - Хромому они не помогли , Аноним, 25-Мрт-24, 23:52 (79)
Напоминаю - zip -это контейнер, и туда могут быть добавлены произвольные компрес, Аноним, 25-Мрт-24, 13:40 (21) //
- даже PPMD очень не везде поддерживается В качестве реализации рекомендую https , Аноним, 25-Мрт-24, 13:44 (24) //
  - ppmd уже давно поддерживается в 7z Или ты смешивает ppmd и zstd , fuggy, 25-Мрт-24, 14:10 (29) //
    - в 7z - да, а вот во многих других реализациях помимо store и zlib в лучшем случа, Аноним, 25-Мрт-24, 14:45 (33)
      - По скорее бы завезли zstd в info-zip, уже много лет как zip поддерживает zstd в, Аноним, 25-Мрт-24, 19:59 (59)
        
        Мне плевать на тормозной до тех пор, пока замедление адекватно сжатию У lzma2, Аноним, 25-Мрт-24, 21:53 (68)
        
        Чего не хватает в 7z так это больше фильтров для разных типов файла как в winrar, fuggy, 25-Мрт-24, 22:55 (74)
        
        Так у 7z тот же brunsli для картинок есть уже много лет Как по мне, главная фич, Аноним, 25-Мрт-24, 23:24 (76)
        
        Я хочу это чтобы было в стандартной поставке Стратегии это по сути и есть препр, fuggy, 25-Мрт-24, 23:34 (78)
А где сравнение с утилитой zstd , Аноним, 25-Мрт-24, 13:41 (22)
Есть такой проект, Pigz называется, тотже gzip, но распаралленый Быстро работае, Аноним, 25-Мрт-24, 13:42 (23) //
- Плохо, что всё время забываешь -I pigz к tar подкидывать Его уже надо бы по-умо, НяшМяш, 25-Мрт-24, 14:49 (34) //
  - Сделай его системным , Аноним, 25-Мрт-24, 15:01 (36)
- pbzip2 тоже, но чуть лучше жмёт и при распаковке контрольную сумму проверяет m, Аноним, 25-Мрт-24, 16:44 (40)
Лучше пользоваться https github com mhx dwarfs И сжимает мощно, и вместо расп, topin89, 25-Мрт-24, 14:56 (35) //
- Эксперимент с использованием SQLite в качестве контейнера дл..., Аноним, 25-Мрт-24, 15:21 (38)
- Прежде всего тем, что может вытащить ЛЮБОЙ файл за минимальное время , Аноним, 25-Мрт-24, 17:54 (47) //
  - Не, нужно так писать, Аноним, 25-Мрт-24, 18:11 (51)
- А этот dwarfs в качестве хранилки библиотеки сойдет , непонятка, 27-Мрт-24, 06:26 (104) //
  - В целом да Но если данные сами по себе плохо сжимаются, то проще как есть в пап, topin89, 17-Апр-24, 13:04 (115)
Давно ищу архиватор способ чтоб в архиве сохранялась дата создания через stat эт, Аноним, 25-Мрт-24, 16:44 (39) //
- Если сам формат файла хранит только ОДНУ дату, вряд ли ты сможешь туда засунуть , Аноним, 25-Мрт-24, 17:53 (46)
- Это в какой именно более продвинутой А то у лапчатых например Birth был долго, Аноним, 25-Мрт-24, 18:00 (48) //
  - Тьфу, 4 там лишняя Но пингвинячий stat таки традиционно не поддерживает b_tim, Аноним, 25-Мрт-24, 18:06 (50)
- Не так и давно, поддержку birth иноды не столь и полезная для архивации информа, Аноним, 25-Мрт-24, 19:54 (57) //
  - Неужели вы до сих пор путаете архиватор с компрессором Использую для архивации , Аноним, 25-Мрт-24, 21:49 (66) //
    - Обрати внимание на быстрый произвольный доступ к сжатым данным , Аноним, 25-Мрт-24, 22:09 (70)
Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми сис, Аноним, 25-Мрт-24, 17:09 (41)
Это имеет смысл только на конкретных юзкейсах имеем один большой архив и период, Аноним, 25-Мрт-24, 17:51 (45)
Оверинженеринг, Аноним, 25-Мрт-24, 18:02 (49) //
- Прелестный эксперимент Чтоб подумать над результатом , Аноним, 25-Мрт-24, 19:57 (58)
Здравствуйте,I am the author of Pack, and I am happy to see you all interested i, O, 25-Мрт-24, 18:56 (55) //
- https www blackhat com docs us-17 wednesday us-17-Feng-Many-Birds-One-Stone-Ex, Аноним, 25-Мрт-24, 21:23 (63) //
  - And forgot to add For the purpose of this paragraph let s assumme that SQLite , Аноним, 25-Мрт-24, 21:32 (65) //
    - All are an will be statically linked They are not considered a shared library t, O, 26-Мрт-24, 00:55 (80)
      - Noone sane uses statically-linked libs and sane distros would never accept anyth, Аноним, 26-Мрт-24, 02:21 (82)
        
        Ты просто не пользовался скулайтом, он примерно всегда бандлится Или не заметил, Аноним, 26-Мрт-24, 10:43 (87)
        
        У неадекватов всё подряд бандлится, причём с обоснованием уровня а вот я тут гл, Аноним, 26-Мрт-24, 13:07 (89)
        
        Дело не в этом Лучше смотри на это с позиции когда мейнтенеры не будут возиться, Аноним, 26-Мрт-24, 13:24 (93)
        
        Да, есть такая проблема И это проблема в том числе самого SQLite Слишком много, Аноним, 26-Мрт-24, 14:40 (96)
        
        HeyI am sorry that you think like that Not much tracking, rather shared with me, O, 26-Мрт-24, 13:12 (90)
        
        I can give you a simple advice that will fix all issues in your format just adm, Аноним, 26-Мрт-24, 13:30 (94)
  - Some moar things I forgot to add If this format gets adoption, insecure implem, Аноним, 26-Мрт-24, 02:33 (83) //
    - Thank you for the interest - As long as they use the official work, it will be s, O, 26-Мрт-24, 13:24 (92)
      - The fast variant doesn t guarantee cleanup The slow one results in additional I, Аноним, 26-Мрт-24, 15:58 (98)
Предпочитаю squashfs для архивирования У него встроенное сжатие, но главное мож, BrainFucker, 25-Мрт-24, 21:52 (67) //
- Рекомендую dwarfs, он лучше, Аноним, 26-Мрт-24, 18:13 (100) //
  - Ок, подождём лет десять, как появится в репах дистрибутивов и если проект не буд, BrainFucker, 26-Мрт-24, 20:33 (101)
128077 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15 , DZgas, 26-Мрт-24, 11:39 (88) //
- File hierarchy is implemented using recursive ID In Item table, every Item gets , O, 26-Мрт-24, 13:17 (91)
В 7z мне не хватает CRC , Аноним, 27-Мрт-24, 06:15 (103)
некорректный дизайн теста паскаль no comments, mumu, 28-Мрт-24, 16:01 (107)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру