> На Хабре писалось про систему архивов для натариусов.Там как раз применили S3
> (открытое обьектно-файловое ари) от Амазона.На года и месяцы  по папкам
> раскидать можно,но все равно на одну папку больше 3 миллионов документов.

Да вообще нормальная ФС не напряжется и с 3 миллионов файлов в дире. Если имя файла что-то означает - оно в принципе работать будет. Ну вот ваш любимый EXT4 на таком конечно будет "не очень". Впрочем можно еще и по дням разложить. И будет сколько - порядка 100К в дире? Это уже даже EXT4 переживет, хоть и паршивенько. ЧСХ хотя это и костыль, он таки вполне логичный и иерархичный и вопросов не вызовет от слова вообще. И двуногим в принципе ок.

Но я думаю что мы все согласимся что вот это - очень нишевая задача. Она не возникает каждый день, и general purpose решения могут прокатить, могут не прокатить. Не обязаны ни разу.

> А целостность архива,а БД с веретификацией и информацией для быстрого поиска и т.д.

О да, а как в БД это все проверяется, включая всякие индексы, неизменность документов и проч? Это все конечно решаемо - но так придется написать нечто даже покруче чем свой fsck. При том - самим. Иначе в какой-то момент станет "не айс". Не говоря о том что у кого-то должны будут быть нехилые DBA скиллы на случай отклонения от идеала и проч. Иначе это будет выглядеть весьма печально.

> Вот в объектной ФС и можно накидывать миллионы файлов- обращение идёт
> по сгенерированному ID документа.

В нормальных современных ФС можно и миллионы файлов раскладывать, им похрен. Там какой-нибудь O(log(N)) для дерева будет - и нормуль. Нет, ваш EXT4, потомок чуть ли не миниксовой ФС, современной ФС ни разу не является. Что бы вы там себе ни воображали. Это окаменелый кал мамонта, из которого попытались сделать жалкое подобие современной ФС. С понятным результатом.

> Запись идёт по протоколу с веретификацией и цифровой подписью,история всех
> изменений сохраняется.

Ну как бы вот это все - нужно очень сильно местами.

> Единственное что жалко как всегда исходников ФС не выложили.

А зачем эта штука простому смертному? К ней без тимы админов и пары датацентров с серверами лучше не соваться. Для более прозаичных случаев - нормальные современные ФС не стушуются и на миллионе файлов. Правда юзер при браузинге от балды материться ессно будет.

Технически ФС сами в каком-то роде БД. Просто относительно простые. И можно написать прогу-сервер которая будет обеспечивать протокол, раскладывать подписи в extended attrs или куда там, и даже трекать версии и проч. Гите же трекает, и ничего. Вон уже до 10 млн объектов догнался. Они все и сразу конечно на ФС не бывают, но даже 100-200К файлов котторые большой билд кернела может трогать уже как бы озадачит совсем топорные ФС. Которые просто отжили свое.