https://www.opennet.ru/openforum/vsluhforumID3/121987.html Выпущена версия 0.9.1 библиотеки libmdbx (MDBX) с реализацией высокопроизводительной, компактной встраиваемой базы данных класса ключ-значение. Код libmdbx распространяется под лицензией OpenLDAP Public License...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=53812<br> https://www.opennet.ru/openforum/vsluhforumID3/121987.html#52 Tue, 06 Oct 2020 14:59:40 GMT На всякий, для информации.<br><br>1)<br>Заметил что при 25M итераций размер БД в sqlite получается порядка 2.5Gb.<br>Соответственно, заданная pragma не покрывает все данные.<br>Поэтому перепроверил задав mmap_size в 3Gb, но результат не изменился (медленнее чем без mmap).<br><br>2)<br>Вспомнил что как-то был разговор о том, что неплохо-хо бы также сравнить размер БД (sqlite vs libmdbx), при одинаковом тестовом сценарии.<br><br>Итого, в этом конкретном случае, получилось 2.5Gb в sqlite против 2Gb в libmdbx.<br><br>Кроме этого, посредством mdbx_chk можно узнать больше подробностей (заполненность страниц и т.п.)<br><br>$ ./mdbx_chk -vv .<br>mdbx_chk v0.9.1-11-g9d1bfa5b2 (2020-10-06T01:34:14+03:00, T-8f7227d37aed94d650826896bb3e69b34efd254c)<br>Running for . in 'read-only' mode...<br> open-MADV_DONTNEED 522315..524288<br> readahead OFF 0..522315<br> - monopolistic mode<br> - current boot-id b7e779bb77d4d4d6-f890ee824260423e<br> - pagesize 4096 (4096 system), max keysize 1300..1344, max readers 120<br> - mapsize 137438953472 (128.00 Gb)<br> - dynamic data https://www.opennet.ru/openforum/vsluhforumID3/121987.html#51 Tue, 06 Oct 2020 12:16:27 GMT О как. У меня было по большей части чтение, поэтому и получилось некоторое ускорение.<br><br>Понятно, что специализированное хранилище в разы быстрее, но было интересно понять, насколько удалось выжать всё из sqlite3 (и не только понять, какие опции используются, но и почему). Опять же, момент с замедлением записи при включении mmap оказался неожиданностью.<br><br>Премного благодарю за информацию!<br> https://www.opennet.ru/openforum/vsluhforumID3/121987.html#50 Tue, 06 Oct 2020 12:09:25 GMT &gt; offtop/2: если что, в sqlite3 есть PRAGMA mmap_size=x. Насколько помню, по умолчанию <br>&gt; там 0, т.е. mmap не используется. Как-то раз удавалось за счёт <br>&gt; включения этой настройки немного ускорить существующую базу. В репозитории ioarena не <br>&gt; нашёл упоминания mmap_size, т.е. возможно что этот момент был упущен.<br><br>mmap в sqlite будет немного ускорять чтение, за счет потенциального "расширения" page cache на весь объем данных. Но libmdbx тут (в сценариях интенсивного чтения) всё равно _всегда_ в разы быстрее, ибо примерно совсем не выполняет лишних операций (минимум накладных расходов). В Сети можно найти достаточно результатов бенчмарков (sqlite vs LMDB) подтверждающих это. Навскидку вот один из них https://hsto.org/webt/uw/du/4z/uwdu4zfgewvmqwkzuzaszja_qeq.png (фон прозначный, в зависимости от браузера может получится черное на черном).<br><br>В сценариях с интенсивной записью/обновлением (в том числе в показанных ранее CRUD) mmap существенного влияния не окажет. На всякий добавил прагму в драйвер ioarena и https://www.opennet.ru/openforum/vsluhforumID3/121987.html#49 Mon, 05 Oct 2020 09:55:52 GMT &gt; Не работает оно (убунта 20.04 + последний стабильный/тестовый вайн). На 32-битных дистрах <br>&gt; не пробовал, да.<br><br>О да, дистр тут не важен - важно, чтобы Миранда и Вайн был под x32 (настраивается Вайн при создании профиля, Миранда качается нужно версии).<br> https://www.opennet.ru/openforum/vsluhforumID3/121987.html#48 Sun, 04 Oct 2020 00:19:26 GMT offtop/2: если что, в sqlite3 есть PRAGMA mmap_size=x. Насколько помню, по умолчанию там 0, т.е. mmap не используется. Как-то раз удавалось за счёт включения этой настройки немного ускорить существующую базу. В репозитории ioarena не нашёл упоминания mmap_size, т.е. возможно что этот момент был упущен.<br> https://www.opennet.ru/openforum/vsluhforumID3/121987.html#47 Sun, 04 Oct 2020 00:04:34 GMT FYI: как-то я встречал /похожий/ OSAL, называется WinPR и используется в FreeRDP (замена rdesktop). Ну и libwine, куда ж без него. Вроде, что-то ещё вспоминается, но уже более смутно.<br> https://www.opennet.ru/openforum/vsluhforumID3/121987.html#46 Sat, 03 Oct 2020 22:49:49 GMT &gt; При необходимости, конечно, можно портировать libmdbx на более слабые платформы, в том <br>&gt; числе на "голое железо". Требуется не так уж много (32-битный процессор, <br>&gt; мегабайт ОЗУ и блочный обмен с "диском"). Грубо говоря, достаточно реализовать <br>&gt; соответствующие функции libc.<br><br>Не, мегабайт жирновато для _микро_-контроллера :) <br><br>Но вообще код интересный, нашел в src/osal.c код, который ммапит файл. Даже не знал, что в венде это есть - теперь знаю где посмотреть пример.<br> https://www.opennet.ru/openforum/vsluhforumID3/121987.html#45 Sat, 03 Oct 2020 14:06:04 GMT Спасибо за ответ!<br>Буду тестировать.<br><br>&gt; Далее, принципиально важно насколько вам нужны транзакции, многопроцессорный/многопоточный <br>&gt; доступ и какова пропорция по объему операций чтения и записи.<br><br>Чтение/запись почти одинаково с маленьким перевесом чтения. Так как это счетчики, то транзакции нужны (отдельные операции в основном имеют вид: прочитали, изменили значение, записали значение или удалили ключ).<br>Многопоточный доступ и на чтение, и на изменение нужен.<br> https://www.opennet.ru/openforum/vsluhforumID3/121987.html#44 Sat, 03 Oct 2020 12:19:49 GMT &gt; Диск - это абстракция более высокого уровня. Сам микроконтроллер ничего про диски <br>&gt; не знает, как и персональный компъютер или мобилка или сервер какой. <br>&gt; Но у людей регулярно встречаются задачи записывать куда-то какую-то структурированную <br>&gt; информацию. Поэтому логично возникает вопрос - а нельзя ли присобачить эту <br>&gt; БД к логгингу, и если можно - то какие требования к <br>&gt; железу.<br><br>Чтобы использовать libmdbx как есть, без каких-либо доработок, то от системы требуется поддержка mmap() и PTHREAD_MUTEX_ROBUST. Проще говоря, если на микроконтроллере есть MMU и можно запустить linux (buildroot и т.п.).<br><br>При необходимости, конечно, можно портировать libmdbx на более слабые платформы, в том числе на "голое железо". Требуется не так уж много (32-битный процессор, мегабайт ОЗУ и блочный обмен с "диском"). Грубо говоря, достаточно реализовать соответствующие функции libc.<br>