Анонсировав (https://lkml.org/lkml/2016/3/26/132) первый кандидат в релизы ядра Linux 4.6, Линус Торвальдс сообщил о принятии (https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux....) в последний момент патчей с реализацией распределённой файловой системы OrangeFS (http://www.orangefs.org/), которая рассчитана на применение в высокотехнологичных high-end-серверах и кластерах для достижения максимальной производительности доступа к данным из распараллеленных приложений.
В качестве основы OrangeFS использованы наработки проекта PVFS (http://www.pvfs.org/) (Parallel Virtual File System), развиваемого с 1993 года при поддержке NASA для изучения методов эффективной обработки ввода/вывода в параллельно выполняемых кластерных системах. PVFS создавалась для замены NFS в кластерах и отличается наличием отдельного сервера обработки метаданных, координирующего обращение к данным, размещаемым на специальных узлах хранения.Разработка OrangeFS нацелена на развитие расширенных возможностей, отсутствующих в основном варианте PVFS (например, отказоустойчивость и расширенные механизмы контроля доступа). OrangeFS может применяться в областях, недостаточно полно поддерживаемых PVFS. Из типичных областей применения OrangeFS называются высокопроизводительные вычисления (HPC), обработка больших объёмов данных (BigData), потоковое вещания видео, решение задач геномики и биоинформатики. Из сходных с PVFS характеристик отмечается производительность, надёжость, оптимизация для MPI-IO, независимость от оборудования и простота развёртывания.
Основные особенности (https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux....) OrangeFS:
- Распределение данных между несколькими файловыми серверами (метаданные обрабатываются несколькими коллективно взаимодействующими серверами). Поддерживается концепция распределённых директорий. В качестве альтернативы выборки по файловому пути предоставляются средства поиска метаданных;
- Поддержка одновременного доступа нескольких клиентов;
- Для хранения данных и метаданных используются существующие локальные файловые системы и методы доступа;
- Реализация в пространстве пользователя с выносом базовых функций в модуль ядра;
- Поддержка MPI;
- Поддержка работы без сохранения состояния (stateless, сервер не обслуживает такие операции как открытие файлов);
- Поддержка кэширования наиболее востребованных данных на стороне клиента;
- Наличие гибкого механизма контроля доступа на основе ACL и заверенных учётных записей (signed credentials);
- Настраиваемый уровень избыточности хранения данных, позволяющий найти оптимальный баланс между отказоустойчивостью, производительностью и затратами на оборудование. Разные файлы могут иметь разные уровни избыточности хранения. Для достижения максимальной производительности хранение избыточной информации может быть полностью отключено.
URL: https://lkml.org/lkml/2016/3/26/132
Новость: http://www.opennet.dev/opennews/art.shtml?num=44113
>OrangeFSКакая-то узкоспециальная штука, с которой не то что пользователи, но и редкие админы кода-либо пересекутся.
>PVFSВ масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.
>В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.министерство энергетики на два порядка покрупнее, распределённее и вообще настоящая бигдата в реалтайме.
Какая-то узкоспециальная штукаТак весь топ технологий узкоспециализированных. Широкий профиль это адммн на предприятии: хочешь Эксель поставит, а хочешь утюг починит.
> В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.Товарищ понятия не имеет о масштабах пиндосского министерства энергетики...
> В масштабе ФС, NASA звучит как-то весомейNASA легче, они в космос летают.
А лицензия какая?
Сомневаюсь, что не православная.
Греческая?
[user@host orangefs]$ pwd
/home/user/linux-mainline/fs/orangefs
[user@host orangefs]$ head file.c
/*
* (C) 2001 Clemson University and The University of Chicago
*
* See COPYING in top-level directory.А в COPYING в linux-mainline GPLv2.
> А лицензия какая?Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.
> Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.Ну-ка, ну-ка, поподробнее!
https://github.com/torvalds/linux/blob/984065055e6e39f8dd812...
-----
* Permission is hereby granted, free of charge, to any person obtaining a
* copy of this software and associated documentation files (the
* "Software"), to deal in the Software without restriction, including
* without limitation the rights to use, copy, modify, merge, publish,
* distribute, sub license, and/or sell copies of the Software, and to
* permit persons to whom the Software is furnished to do so, subject to
* the following conditions:
-----
https://github.com/torvalds/linux/blob/097f70b3c4d84ffccca15...
-----
/*
* Copyright (C) ST-Ericsson AB 2012
* Author: Sjur Brændeland <sjur.brandeland@stericsson.com>
*
* This header is BSD licensed so
* anyone can use the definitions to implement compatible remote processors
*/
----
i915_drv.c:
MODULE_LICENSE("GPL and additional rights");A header - там свое, читай что притащил сам.
собственно .h файлы уже вывели из под копирайта - это всего лишь описание интерфейса
> Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.Все зависит от того, кто оплатил. Если это государственный грант - то только пермиссивная. Если частный - зависит от грантодателя.
>> Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.
>Все зависит от того, кто оплатил. Если это государственный грант - то только пермиссивная.ШАС! Впрочем если это не заказ софто-пейсателям, а грант на исследования в университет, то таки да. Но тогда и "пермbсcивная" в стиле BSD\MIT\Apache ...
[offtop]повальный вантуз головного мозга. такие вещи пишут через прямой слэш, а не обратный. минимально язык подучить стоило бы. надоели уже[/offtop]
Как межпланетная фс сможет работать или всё сведется что из локалки не выпускать?
> Как межпланетная фс сможет работать или всё сведется что из локалки не
> выпускать?Владыка вселенной выбирает корневую ФС для своей империи?
> Как межпланетная фс сможет работать или всё сведется что из локалки не
> выпускать?Встречный вопрос: год изобретения VPN?
Ню-ню. Год изобретения терминов bandwidth и особенно latency ? :-\
Межпланетная ФС надеется, что если не удастся открыть сигналы быстрее скорости света, то удастся открыть сжатие пространственных расстояний для сигналов.
Хорошая штука для HPC. Очень выручала, когда не было отдельной хранилки и приходилось делать хранилку из откушенных разделов на рабочих узлах.Кстати, вполне сравнима с Lustre и умеет метаданные параллельно обрабатывать, поддержка IB нативная есть.
а что не люстра? патчить ядро чтобы столкнуться с прекрасным в продакшне, как-то странно.
> а что не люстра? патчить ядро чтобы столкнуться с прекрасным в продакшне,
> как-то странно.Покажи серверную часть люстры в ядре. Или так - где-то што-то однокласники про люстру напели?
извините, что осмеливаюсь задавать неугодные вам вопросы другому человеку, сознаюсь был дерзок.
Luste умеет делать избыточность данных? Старые версии точно этого не умели, вообще не понятно нахрена нужна ФС такого уровня без поддержки избыточности и всяких там кодов коррекции.
Ворос к знающим, а чем оно отличается к примеру от GlusterFS?
Тем что глустер существует, а это — практически нет.
Например вот этим:"there is no locking system in PVFS"
Т.е. очень большая часть применений сразу отсекается. Это тупая хранилка, не более того, ни на какой разделяемый доступ к файлам, кроме чтения, и очень-очень аккуратной записи с синхронизацией нод "другим способом" она в отличие от Gluster не расчитана.
Вот только Gluster зачастую ведёт себя совершенно нестабильно. И часто ломается от версии к версии.
> Gluster зачастую ведёт себя совершенно нестабильноувы, подтверждаю :(
там приоритеты другие.
в люстре - "свиестелок" навешали в саму ФС а тут - старательно этого избегают, скрупулезно минимизируя оверхэд/накладные, отсюда и stateless и прочее.
но остальное, особенно нативный MPI - очень в тему для HPC-хреновин/проектов а вот ACL родной сделает ее больше востребованной в Очень больших коммерческих решениях, например банк среднего размера - очень возрадуется, имея систему нативно написанную под.
это не люстры конкурент а скорее ответ на хаммерФС для платформы, оную не тянущей(в принципе. слишком много слабых мест, не масштабирующихся. и валящих ее при).
похоже на грядущий слепящий вин тысячелетия, ждёмс
Почему у других файловых систем нет своих сайтов?
https://btrfs.wiki.kernel.org/index.php/Main_Page
Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?
Банальных линков не хватает?
Если так, ну что же... Возьми код nullfs, перелицензируй его на GPL, приведи внешний вид к требованиям линукс-ядра и предлагай. Вполне могут и принять. Ты же не думаешь, что этой псевдо-ФС нет по религиозным причинам?
> Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?Зачем?
man nullfs
---
DESCRIPTION
The nullfs driver will permit the FreeBSD kernel to mount a loopback file
system sub-tree.
---
смотрим man mount
---
Bind mounts
Since Linux 2.4.0 it is possible to remount part of the file
hierarchy somewhere else. The call is:mount --bind olddir newdir
---
Оно?
если ты не понимаешь разницу между mount --bind и полноценной stackable FS - то мне тебя жаль..
Ну так объясни, в чем на практике разница?
> Ну так объясни, в чем на практике разница?самому выяснить слабо?
> полноценной stackable FS
> - то мне тебя жаль..Ты же в курсе, что bind – это фича ядра, не?
https://github.com/torvalds/linux/blob/v4.4/fs/namespace.c#L...
static int do_loopback(struct path *path, const char *old_name,
Ты же читал, что оно умеет?
https://www.kernel.org/doc/Documentation/filesystems/shareds...Или, как обычно, <это самое в лужу>?
> Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?Привет Изен, почту не читаешь ?
Поставлю Ubuntu с это ФС 0)0)) Посмотрим че быстрее, ext4 или OrangeFS
На убунте старое ядро, Арчик и Гента нужна.
> На убунте старое ядро, Арчик и Гента нужна.http://kernel.ubuntu.com/~kernel-ppa/mainline/
Не думаю
> Посмотрим че быстрее, ext4 или OrangeFS
>>распределение данных между несколькими файловыми серверами
>>Настраиваемый уровень избыточности хранения данных,Пофиг на быстроту -- что из них мягче и фиолетовые?!
Как раз таки не пофиг. Мне быстрота и нужна
> Как раз таки не пофиг. Мне быстрота и нужнаПотестируй tmpfs. Мне очень помогает!
> ... Мне быстрота и нужнаКому что-то нужно Бубунтень не ставят.
btrfs допиливать собираются или уже забіли и делают очередное ненадо и скоро будет
Интересно, сколько в ядре уже поддерживается разных файловых систем? Наверное несколько десятков.
> Интересно, сколько в ядре уже поддерживается разных файловых систем? Наверное несколько
> десятков.https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux....
более полусотни наберется.
забыл добавить gnu microsoft ntfs
сколько уже всякой ерунды в этом ядре, это просто жесть!
> сколько уже всякой ерунды в этом ядре, это просто жесть!12 виртуальных и 1 правильная.
$ cat /proc/filesystems
nodev sysfs
nodev rootfs
nodev ramfs
nodev bdev
nodev proc
nodev tmpfs
nodev devtmpfs
nodev sockfs
nodev pipefs
nodev devpts
nodev autofs
xfs
nodev mqueue
А я уже даже придумал куда её вкорячить, даже два раза.
Но бабла за это опять не дадут, поэтому пущай думают баблодержащие.