Гао Сян (Gao Xiang) из компании Huawei представил (https://lkml.org/lkml/2018/5/31/306) в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (Extendable Read-Only File System), разработанную для использования на разделах, доступных в режиме только для чтения. В Huawei ФС EROFS рассчитывают использовать на монтируемых в режиме только для чтения разделов платформы Android.
Мотивом для создания новой ФС стала низкая эффективность работы существующих решений для read-only разделов. По сравнению с Ext4 новая ФС демонстрирует примерно идентичную производительность при выполнении операций последовательного чтения, но в разы обгоняет Ext4 при случайном доступе к данным. Например, при уровне сжатия 4 при тестировании на сервере с жестким диском ФС EROFS обогнала Ext4 в операциях случайного чтения более чем в шесть раз, а при использовании Android-смартфона с Flash почти в три раза. При увеличении уровня сжатия разрыв уменьшается, но параметры выравниваются только к уровням порядка сжатия в 100 раз.
Как и в других read-only ФС структура EROFS существенно упрощена за счёт отбрасывания при реализации некоторых областей метаданных, таких как битовая карта свободных блоков. Основные отличия сводятся к оптимизациям, нацеленным больше на обеспечении высокой производительности, чем на максимальной экономии свободного пространства. EROFS поддерживает хранение данных в сжатом виде, но использует иной подход для хранения сжатых блоков.
В традиционных ФС на основе неупакованных блоков фиксированного размера формируются сжатые блоки, имеющие непредсказуемый произвольный размер. Так как доступ к данным на носителе осуществляется на уровне фиксированных блоков (кластеров), то при чтении сжатых блоков приходится читать и данные с остаточным заполнением до границ блока. Проблема частично решается применением дополнительной буферизации, но в этом случае увеличивается нагрузка на память и отсутствуют точные данные, и так как сжатые блоки не используются напрямую и требуют распаковки не ясно когда именно сжатый блок может потребоваться. Из-за этого буферизация сжатых данных эффективна только при последовательном чтении и приводит к существенному провалу производительности при случайном доступе к данным, который представляет типовую нагрузку в реальных системах.Для ускорения операций случайного доступа в EROFS реализовано несколько идей:
- Применяются блоки страничного размера, которые могут сохраняться без остаточного заполнения и не требуют буферизации.
- Небольшие данные, расширенные атрибуты (xattr) могут читаться одновременно с метаданными inode.
- Реализованы области совместно используемых расширенных атрибутов (xattr), в которых могут хранится типовые атрибуты, такие как метки SELinux, или слишком большие xattr, не вмещающиеся в inline-блок;
- Метаданные и данные могут смешиваться при хранении;
- При сжатии используется метод, формирующих выходные блоки фиксированного размера (в существующих ФС разбивка на блоки фиксированного рахмера ведётся до сжатия, а после сжатия на выходе получаются блоки разного размера), что позволяет избавиться от траты ресурсов на чтение остаточного заполнения.
- В кластере может сохраняться один или несколько блоков со сжатыми данными. Хранимые данные размещаются в блоках фиксированного размера, но распаковываются в цепочки произвольной длины.URL: https://lkml.org/lkml/2018/5/31/306
Новость: https://www.opennet.dev/opennews/art.shtml?num=48694
Make love (EroFS), no war (BtrFS)!
Good morning (POHMELFS)!
DEVICEFUCKFS
не, лучшеEroFS - для академических исследований
FuckFS - для практического применения
А чё? Со встроенной системой распознавания хранимых объектов, можно даже на майнинг криптолибидо располагать ‿
>можно даже на майнинг
> криптолибидоЭэээ... это про любовь к халяве, я, извините, не распарсил? </риторический вопрос, не отвечать!>
---"Каптёр, чужое. Взять-взять!"(ДМБ)
ДМБ еще смотрят?
Конеш, на репите.
Всё это прикольно, но в случае с Android-устройствами это существенно осложнит жизнь тем, кто желает что-то менять в этих RO-разделах (например, /system или в новом a-b формате чуть ли не весь /).
И это довольно неплохо сочетается с вот этой новостью https://www.opennet.dev/opennews/art.shtml?num=48674
Основное достоинство ext4 в Android, что его можно перемонтировать в rw-режиме.
Именно. А тут, вероятно, придётся ребилдить весь раздел ради того, чтобы исправить какой-нибудь мелкий и тупой косяк в прошивке, скажем, самсунга.
> исправить какой-нибудь мелкий и тупой косяк в прошивке, скажем, самсунгапростите, что?
Удалить встроенное неотключаемое приложение
Модификация /system лишает OTA-обновлений.Чтобы не трогать /system, посмотрите на Magisk.
Проблемы в переключении режимов камеры, например.
как бы не пришлось пзуху перепаивать :-(И да, у меня никаких сомнений, что плохой дорогой не ограничится - "промышленность с радостью перейдет на новый стандарт".
Там будет лежать зашифрованный подписанный "раздел", ни ребилдить ни поменять никакой возможности не будет, и всё это конечно по просьбам трудящихся.
Так это и нужно для того что-бы сделать кастомизацию максимально сложной. Постепенно системы становятся всё более огороженными и, со временем, судя по всему, начнётся жёсткая привязка к своей "марке" с арендной моделью использования.
И в итоге все перейдут на китайские телефоны с разблокированными процессорами и прошивками.
На минуточку, Huawei — самая что ни на есть китайская компания, которая на днях заявила, что не даст разблокировать загрузчик на своих андроидофонах. Вполне возможно, что и все другие китайцы, включая Дядюшку Ляо, последуют этому примеру
> На минуточку, Huawei — самая что ни на есть китайская компания, которая
> на днях заявила, что не даст разблокировать загрузчик на своих андроидофонах.
> Вполне возможно, что и все другие китайцы, включая Дядюшку Ляо, последуют
> этому примеруДядюшка Ляо изначально не предусматривает блокировку загрузчика, в отличие от Huawei, которая предусматривает, но отказывает в разблокировке.
> Всё это прикольно, но в случае с Android-устройствами это существенно осложнит жизнь
> тем, кто желает что-то менять в этих RO-разделах (например, /system или
> в новом a-b формате чуть ли не весь /).
> И это довольно неплохо сочетается с вот этой новостью https://www.opennet.dev/opennews/art.shtml?num=48674Вряд-ли ибо как его потом обновлять заплатками.
Так же, как это происходит сейчас: патчи на образ для минорных обновлений и полностью новый - для мажорных
Если корень сделать с этой фс, программы бысрее будут грузится?
На глаз этого кто.
Система - возможно. Программы - возможно предустановленные, до первого обновления.
ErrorFS
> Гао Сян (Gao Xiang) из компании Huawei представил
>в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (ExtendableКогда прекращение https://www.opennet.dev/opennews/art.shtml?num=48674 предоставления?
Huawei прекращает предоставление средств для разблокировки з...
> Read-Only File System), разработанную для использования на разделах, доступных в режиме
> только для чтения. В Huawei ФС EROFS
и ни слова про сравнение со squashFS
Тоже сначала подумал, может заменить squashFS на сабж у своих применениях.
Но, если подумать, область применения squashFS - почти безкомпромистное уменьшение размера посредством LZMA в ущерб скорости. У Huawei интеререс другой - размер хранилища они контролируют (смартфон то ихний), а от увеличения скорости фс повышается отзывчивость, а значит usability.
Иными словами имеет смысл бодаться с RO разделами EROSFS только если хочется повысить скорость чтения случайных данных с использованием уровня сжатия 4 EROSFS.
Т.е. usecase довольно узкий и сравнивать, думаю, не имеет особого смысла.
Умозрительно, если EROSFS рвет EXT4 на случайном доступе и это важно для холодных данных, то и squashFS очевидно плохое решение.
Если кэш FS ядра прогрелся, то думаю разницы большой не будет
squashfs можно юзать без сжатия
> У Huawei интеререс другой - размер хранилища они контролируют (смартфон то ихний)Почему именно смартфон? Основной бизнес Huawei — всё-таки операторские железки (это такой монстр, который пытается закрыть, пожалуй, всё ниши железа для интернет- и GSM-провайдеров, включая абонентское оборудование).
По ссылке есть
we once tried to use squashfs on our products with
different block sizes several years ago, it behaves
unacceptable in the low free memory scenario besides its
performanceЧестно говоря, я не очень понял, о чем речь )
> Компания HuaweiЭто та которая закрывает прошивки и лишает гарантии при попытке разлочить рута? НЕНУЖНО.
А всё потому, что кто-то не хочет GPLv3.
К чему эти полумеры, Huawei? Если вы так не желаете, чтобы пользователь вашего продукта разблокировал загрузчик или удалял ваш блоатварь, предлагаю при обнаружении root\несовпадении контрольной суммы загрузчика\вмешательстве в системные разделы удалённо подрывать или сжигать аккумулятор.
Это убыточно для экономики Китайской Народной Республики: пользователь нужен живым и здоровым, чтобы новый телефон купил у них же.
А куда он денется?
Да и гарантия при разблокировке снимается :)
> Это убыточно для экономики Китайской Народной Республики: пользователь нужен живым и здоровым,
> чтобы новый телефон купил у них же.Мазь от ожогов тоже товар. Сочтут выгодным - диверсифицируют бизнес, откроют Хуавей Бёрн энд Вунд Медикалз, Лтд.
> подрывать или сжигать аккумулятор.Это к гнусмасам. Не подскажет кто, они (гнусмасы) уже в характеристиках тротиловый ээквивалент публикуют?
Эти-то просто ошиблись в разработке. А Хуавей могут и реально дойти до чего-то такого
>А Хуавей могут и реально дойти до
> чего-то такогоХойвей: "А чего?! Им можно??"
ext4 давно ли сжатию научился?
Через подсистему блочного устройства redhat, ищи на гитаре репу VDO
> При увеличении уровня сжатия разрыв уменьшаетсяЭто точно EroFS, 100%
А стирать можно будет УФ-лампой?
Народу эта файловая система явно не нравится, а кто его вообще спрашивает.
А раз так, то зачем будоражить общественность?
Делайте всё втихую. -
Всякие нелепые файловые системы, прошивки со "случайными ошибками", которые случайно находятся, которыми могут воспользоваться злоумышленники (когда о них становится известно), а до тех пор пока неизвестно ими пользуются исключительно порядочные и честные люди.
П.С. Я против негодяев, но такие меры...
На SSD/Flash выигрыш по скорости совсем несущественный.
Эмм, собственно нечего не понял, но стоит ли обновлять? 3гига обнова, а из описания изменений одна эта фикса(EROFS)