URL: https://www.opennet.dev/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 137628
[ Назад ]

Исходное сообщение
"whomade - процесс, запоминающий кто создал файлы в отслеживаемых каталогах"

Отправлено opennews , 23-Авг-25 07:55 
Для определения приложений, создающих расходующие дисковое пространство файлы в домашнем каталоге пользователя, подготовлен фоновый процесс whomade, отслеживающий появление новых файлов при помощи механизма fanotify. Проект написан на языке С++ и распространяется под лицензией  GPLv3...

Подробнее: https://www.opennet.dev/opennews/art.shtml?num=63761


Содержание

Сообщения в этом обсуждении
"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено User , 23-Авг-25 08:06 
Так ведь в ntfs создатель и без помощи демонов известен.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено WE , 23-Авг-25 09:21 
А ты не путай корпоративные ПО с опенсорщеной.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено нах. , 23-Авг-25 09:23 
ну и кто мне понасоздавал вот это вот

11/08/2025  14:05           335,149 481a175f-cf20-4ad2-8548-d0d4eaa1ca5e.tmp
22/08/2025  22:36                 0 602a6864-4320-4e8c-a888-5c212a639d78.tmp
11/08/2025  14:05           292,514 bd22900a-d2de-47a1-9700-5bd3e078d27e.tmp

?
Можешь подсказать, а то их уже под три сотни там таких?

Поделка, как я понимаю, запоминает процесс (и не один лишь ненужно-pid)


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 13:36 
Так ведь он в любой ФС известен. Но только вот какие именно он процессы использовал для создания файлов - неизвестно.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Stanislavvv , 23-Авг-25 08:18 
> Данные хранятся в БД SQLite3

А расширенные атрибуты, значит, нафиг?


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено A.Stahl , 23-Авг-25 09:04 
Атрибуты чего? БД хранит лишь кортежи имя файла/имя процесса.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 09:12 
Атрибуты ФС. Это ясно из контекста, да и термин однозначный.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено A.Stahl , 23-Авг-25 09:32 
> Атрибуты ФС.

И какое отношение этот демон может иметь к атрибутам ФС? Вырази свою мысль полнее, я тебя не понимаю.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 09:50 
>> Атрибуты ФС.
> И какое отношение этот демон может иметь к атрибутам ФС? Вырази свою
> мысль полнее, я тебя не понимаю.

Попробуй подумать. Ну вот записывается информация в базу данных, чтобы потом периодически её удалять, когда файл исчезнет. Хотя достаточно записать, кто создал, прямо в атрибуты файла (которые кривой файловый менеджер обнулит, но это уже не по адресу). Можно даже без доступа пользователя на изменение, типа метки selinux.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено A.Stahl , 23-Авг-25 09:55 
И на каких ФС это работает? Вот я действительно ничего про это не знаю. Кинь ссылкой где всё это разжёвано.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:08 
Ммм на всех? Сложно сказать. https://en.wikipedia.org/wiki/Extended_file_attributes

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено A.Stahl , 23-Авг-25 10:12 
Забавно. Я не сталкивался. Гляну потом повнимательней. Это может упростить мне жизнь, на самом деле, если действительно работает.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:30 
О да, меня вот расстраивает, что записанные в атрибуты хэши с информацией об источнике файла файловые менеджеры не показывают из коробки. Но и знаю, что они там есть, и открываю окошко из контекстного меню, когда надо. Можно много чего интересного сделать на самом деле, только отсутствие поддержки в ФМ удручает. Ни xdg, ни dublincore нет.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено A.Stahl , 23-Авг-25 10:51 
Хм. А ведь работает. Спасибо, аноним, за наводку. Это позволит мне вообще выкинуть БД со всеми БД-шными проблемами. И отдельный поток для периодической очистки БД тоже. Одни плюсы.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 11:04 
Ну нормально это через eBPF делается, может, ещё чего придумаешь улучшить.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено eugener , 23-Авг-25 11:39 
> Забавно. Я не сталкивался

Во времена OS/2 даже журнал бумажный издавался, "Extended Attributes". В полуоси это дело активно использовалось графической оболочкой, например, можно было назначать свои иконки любым файлам, ну и прочую доп.инфу. И всё это хранилось в EA.
Хотя линь и винда поддерживают EA — DE их почти не использует, видимо из-за современных тенденций к упрощению.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 14:06 
ага, иконки исполняемых файлов в виде папок или документов :) спасибо, не надо.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено eugener , 23-Авг-25 14:31 
Это да, например zip для OS/2 тоже поддерживал расширенные атрибуты, так что можно было заархивировать файл и кому-нибудь переслать, так что у того человека который его разархивирует — он будет с той же иконкой.
Сейчас это выглядит как уязвимость, а тогда была крутая фича.)

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 12:37 
> Хотя достаточно записать, кто создал, прямо в атрибуты файла

так файл с таким же именем может создать кто-либо другой (владелец, процесс). Цель утилиты трекать историю создания файлов и т.д. Вопрос толька накуя, когда есть аудит лог?


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 13:00 
Я думал, установить, кто создал в последний раз. Там не очень надёжно логирует, насколько я понял. Я попросил чатгпт навайбкодить, чтобы было чётко, он выдал

#include <linux/bpf.h>
#include <linux/ptrace.h>
#include <linux/fs.h>
#include <linux/uaccess.h>
#include <linux/sched.h>
#include <linux/bpf_helpers.h>

SEC("tracepoint/syscalls/sys_enter_openat")
int trace_openat(struct trace_event_raw_sys_enter *ctx) {
    char comm[TASK_COMM_LEN];
    struct file *file;
    char *filename;
    int ret;

    // Get the current process name
    bpf_get_current_comm(&comm, sizeof(comm));

    // Get the filename from the syscall arguments
    filename = (char *)ctx->args[1];

    // Set the xattr (assuming the file descriptor is valid)
    ret = bpf_set_xattr(filename, "user.created_by", comm, sizeof(comm));
    if (ret < 0) {
        return 0; // Error handling
    }

    return 0;
}

char _license[] SEC("license") = "GPL";

clang -O2 -target bpf -c your_ebpf_program.c -o your_ebpf_program.o

bpftool prog load your_ebpf_program.o /sys/fs/bpf/your_ebpf_program

bpftool prog attach /sys/fs/bpf/your_ebpf_program tracepoint syscalls:sys_enter_openat

getfattr -n user.created_by filename

надо, чтобы кто-нибудь проверил


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 14:04 
> Там не очень надёжно логирует, насколько я понял.

так атрибуты можно редактировать (заменить current process), чтобы ввести в заблуждение. А в случае с аудит логом - нет.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 14:31 
Не могу понять, почему это проблема. На практике подобного не будет никогда. А так, у меня есть похожая программа, которая следит, чтобы порождённые процессы помимо пида и команды имели записанный родительский пид и не терялись (смерть прародителя не важна). Если это не так, родитель (шелл однострочник) перезапускается новым прародителем (любым из). Пару лет крутилось тысячи процессов в день, никаких проблем (целиком благодаря sqlite). А так, конечно, линукс позволяет не только крыть команду, но и запустить другой процесс с тем же пид. Использовать для этого аудит? Увольте, лишнее.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Мемоним , 23-Авг-25 12:53 
Аналитику считать сложнее. И, теоретически, эта информация может понадобиться и после удаления файла. По хорошему нужна поддержка обеих мест хранения.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 14:29 
> А расширенные атрибуты, значит, нафиг?

А если они не поддерживаются фс либо отключены?


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 08:29 
Отличная замена ls -la, да ещё и с гуй. Всегда искал!

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 09:14 
Ну это вряд ли.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено u235 , 23-Авг-25 09:18 
Заглянул в CMakeLists.txt и собирать это как-то расхотелось.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено 12yoexpert , 23-Авг-25 11:01 
чувак зачем-то вместо объектных файлов архивы линкует
чувствуется колхоз

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено u235 , 23-Авг-25 11:21 
>чувак зачем-то вместо объектных файлов архивы линкует

Меня удивили файлы README.md и CHANGELOG.md в add_executable(). И непонятно откуда берется цель sqlite3 в target_link_libraries().


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено 12yoexpert , 23-Авг-25 14:29 
> Меня удивили файлы README.md и CHANGELOG.md в add_executable()

думаю, это для того, чтобы они в дереве проекта в IDE отображались


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 12:15 
Объектные файлы лучше не линковать - гимора не оберёшься, add_library(... OBJECT ...) - это очень хрупкаяя вещь, напр. от C++ модулей она разваливается.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено 12yoexpert , 23-Авг-25 14:31 
от модулей и компиляторы пока что разваливаются

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 15:25 
В clang вся базовая функциональность работает и время компиляции сокращает. Не полностью, но работает. import std не работает, и в cmake под специальным вредительской переменной "пропишите "лицензионный ключ", который мы специально периодически меняем, чтобы вы эту фичу даже и не думали всерьёз заюзать". import <...>; не работает совсем.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено RM , 23-Авг-25 09:22 
название subj и заголовок статьи крайне неудачны, видно из комментов.
народ просто не понимает (не удивительно), что отслеживается не пользователь, создавший файл, а процесс.
whatcreated а не whomade было бы лучше, как вариант.
ну и в заголовоке заменить "кто" на "программу"

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 09:40 
> в заголовоке заменить "кто" на "программу"

Или на "что". Этого будет достаточно, но я согласен очень полезно, потому что с толку сбивает.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено freehck , 23-Авг-25 09:33 
A.Stahl, ты конечно молодец, что почитал доки и сделал свою реализацию, но вообще-то, хоть мне и неловко сейчас тебе это говорить, однако такой процесс уже есть, и он называется auditd.

Минуточку внимания:


% apt-get install auditd
% auditctl -w /srv/watcher -p wa -k file-creation
% touch /srv/watcher/f1
% ausearch -k file-creation
time->Sat Aug 23 06:27:29 2025
type=PROCTITLE msg=audit(1755930449.930:203): proctitle=746F756368006631
type=PATH msg=audit(1755930449.930:203): item=1 name="f1" inode=106694349 dev=fc:00 mode=0100644 ouid=0 ogid=0 rdev=00:00 nametype=CREATE cap_fp=0 cap_fi=0 cap_fe=0 cap_fver=0 cap_frootid=0
type=PATH msg=audit(1755930449.930:203): item=0 name="/srv/watcher" inode=106700802 dev=fc:00 mode=040755 ouid=0 ogid=0 rdev=00:00 nametype=PARENT cap_fp=0 cap_fi=0 cap_fe=0 cap_fver=0 cap_frootid=0
type=CWD msg=audit(1755930449.930:203): cwd="/srv/watcher"
type=SYSCALL msg=audit(1755930449.930:203): arch=c000003e syscall=257 success=yes exit=3 a0=ffffff9c a1=7ffef733c719 a2=941 a3=1b6 items=2 ppid=494441 pid=495433 auid=1000 uid=0 gid=0 euid=0 suid=0 fsuid=0 egid=0 sgid=0 fsgid=0 tty=pts12 ses=52246 comm="touch" exe="/usr/bin/touch" subj=unconfined key="file-creation"


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено A.Stahl , 23-Авг-25 09:39 
> такой процесс уже есть, и он называется auditd.

Это хорошо, но теперь прикрути туда БД и какой-то механизм для настройки всего этого.

То, что за гаражом валяются какие-то колёса и ты знаешь где купить хороший японский двигатель не означает что у тебя есть машина.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено freehck , 23-Авг-25 09:50 
> Это хорошо, но теперь прикрути туда БД

А зачем нужна БД, если всю необходимую информацию можно получить через ausearch.

> механизм для настройки всего этого

Так auditctl же.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 09:54 
>addDir(DirAction::ADD, DirType::MONITOR, "/home/astahl/.config");
>addDir(DirAction::ADD, DirType::MONITOR, "/home/astahl/.cache");
>addDir(DirAction::ADD, DirType::IGNORE,  "/home/astahl/.cache/mozilla");

Зачем вы новость на опеннет написали, если программа сделана исключительно для вашего личного пользования. И выкиньте нахрен эту библиотеку для парсинга опций командной строки, она не поддерживается, малофункциональная и глючная. Есть гораздо лучшие альтернативы:

1. https://github.com/CLIUtils/CLI11
2. https://git.code.sf.net/p/tclap/code
3. https://github.com/bfgroup/Lyra
4. https://github.com/saveman/octargs

И инлайнить либы в репозиторий - это очень некрасиво. Освойте CMake наконец.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено A.Stahl , 23-Авг-25 10:01 
Это обычные плейсхолдеры, чтобы пользователь сразу понял что туда вводить. Их можно менять. Их нужно менять.

>эту библиотеку для парсинга опций командной строки

Она работает. Никаких нареканий у меня нет. Чем твои варианты лучше?

>инлайнить либы в репозиторий - это очень некрасиво.

Для мелких некритичных либ -- самое оно.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:05 
Это вам локальная модель так навайбкодила? Потому что ни один программист так не напишет в продакшн-коде.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:09 
>Она работает. Никаких нареканий у меня нет. Чем твои варианты лучше?

Вы забыли (или никогда не знали) пословицу всех технооптимистов/материалистов/редукционистов/программистов: "you are only as good as your tools". "Меня устраивает" - не оправдание, а дешёвая отмазка, не выдерживающая никакой критики. "Не хватает денег" - уже более сильное оправдание, но оно не очень применимо к библиотеке для парсинга командной строки.


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Фрол , 23-Авг-25 11:57 
> "Меня устраивает" - не оправдание, а основной принцип UNIX, начиная с первой же версии.

// очевидный фикс


"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 12:11 
UNIX была коммерческой ОС. Коммерсы с принципом "меня всё устраивает" с рынка вылетели бы ... а всякие QNX, AIX и прочие и поныне продаются за бабло вме6сто того чтобы "нас всё устраивает, а вы - валите на линукс или винду".

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:04 
Твоя правда. У меня есть похожая шляпа на питоне, но там код получше и функциональность побогаче (раз в 100). А вся работа по написанию заняла те же полчаса. Есть ещё индексатор для поиска: изначально идея была fuzzy search для похожих имён, но в конечном итоге достаточно перестановок и замен/удаления символов. Без индекса перебор часы, с индексом 10 секунд, меня устраивает.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:10 
В индексе случаем не dafsa?

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:40 
Да не, там простая сериализация в messagepack и cжатие, всё равно перебирать всё для поиска. Индексы просто раздельные немного, чтобы сразу десятки гигабайт памяти не кушать. Это тот случай, когда временное наколенное решение работает достаточно хорошо даже после стократного увеличения объёмов.

"whomade - процесс, запоминающий кто создал файлы в отслежива..."
Отправлено Аноним , 23-Авг-25 10:01 
>query = std::format(R "SQL(INSERT INTO {0:}(dirname) SELECT '{1:}' WHERE NOT EXISTS(SELECT 1 FROM {0:}WHERE dirname = '{1:}')) SQL ", table_name, dir);

У вас случайно нет знакомого Little Bobby Tables?


"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Анонимчег , 23-Авг-25 10:59 
Интересно, хоть кто-то из критикующих прислал пулл-реквест?

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено u235 , 23-Авг-25 11:33 
Типа "критикуя, предлагай" и никак иначе? Я помню этим нашу оппозицию, пока она ещё была, постоянно попрекали. Нет, я не прислал пулл-реквестов и не пришлю. Я высказал свое мнение, автор может принять его к сведению или проигнорировать и это нормально.

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Аноним , 23-Авг-25 12:43 
auditd - не, не слышал

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Аноним , 23-Авг-25 12:24 
Если настоящей целью является очистка хомяка от всякого хлама, то я выбрал принципиально другой подход: весь рут ("/") монтируется в tmpfs; хомяк тоже в tmpfs; избранные папки бинд-маунтятся в долгосрочное хранилище. Таким образом после рестарта системы я получаю чуть ли не свежеустановленную ось, при этом только некоторые папки переживают перезагрузку (например ~/.config/chromium). И никакой аудит не задействуется. Пусть там хоть тысячи прог понасоздадут свой мусор в хомяке -- после перезагрузки мусор исчезнет, а папки из белого списка останутся. В интернете этот подход гуглится по словам impermanence nix.

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Аноним , 23-Авг-25 12:44 
вы, / в ro монтируйте сразу

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено пох. , 23-Авг-25 12:59 
да можно просто комп не включать - никто не нагадит в хомяк!


"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Аноним , 23-Авг-25 14:07 
можно было и в коментах не гадить!

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Мемоним , 23-Авг-25 13:01 
А какая-нибудь libmdbx не лучше будет для такой достаточно простой задачи?
https://www.opennet.dev/openforum/vsluhforumID3/121987.html#9

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Аноним , 23-Авг-25 13:57 
Нет, не будет.

1. Во-первых libmbdx - это продукт человека, последовательно озвучивающего совершенно ужасную общественную позицию, которая в поддержку сил, которые нам скотобойню готовят, поэтому её сразу обходим стороной - использование этого продукта бустит карьеру его автора, а те, у кого такая общественная позиция, бустинга карьеры не заслуживают. При этом существенных недостатков в vanilla lmdb нет, поэтому сразу же заменяем в вашем предложении mbdx на lmdb.

2. Вот lmdb как раз можно заюзать, но вместе с dafsa, иначе на хранени путей разоришься. стоковая реализация dafsa в одноимённой либе к сожалению не имеет встроенной функции цепляния к листьям метаинформации. Но есть идентификатор листа, и его можно использовать как ключ хочешь в LMDB, а хочешь вообще perfect hash table сделай.

3. если используешь другие реализации, то в некоторых можно напрямую прицепить к листьям метаданные


"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Аноним , 23-Авг-25 14:00 
Забыл добавить: в моей реализации чего-то подобного всё ещё lzma2-компрессией накрывалось.

"whomade - процесс, запоминающий какие программы создают файл..."
Отправлено Аноним , 23-Авг-25 14:08 
> 1. Во-первых libmbdx - это продукт человека

так он по заказу "товарищмайора" делал :)