URL: https://www.opennet.dev/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 97008
[ Назад ]
Исходное сообщение
"индекс файлов"
Отправлено Happy_demon , 28-Сен-17 17:21 
Доброе время. Допустим есть большой каталог, где регулярно появляются текстовые файлы. В каждом файле есть ключевые строки. Допустим по этим строкам я хочу найти нужный мне файл. Но файлов реально много и find -f . * | xargs  и т.д. будет реально отрабатывать долго. С помощью чего можно составить типа индекс файл, который будет обновляться при появлении новых файлов, бинарный и искать уже в нем? perl/python/bash etc. Заранее спасибо.
Содержание
Сообщения в этом обсуждении
"индекс файлов"
Отправлено Andrey Mitrofanov , 28-Сен-17 18:12 
> Доброе время. Допустим есть большой каталог, где регулярно появляются текстовые файлы.
> В каждом файле есть ключевые строки. Допустим по этим строкам я
> хочу найти нужный мне файл. Но файлов реально много и find
> -f . * | xargs  и т.д. будет реально отрабатывать
> долго. С помощью чего можно составить типа индекс файл, который будет
> обновляться при появлении новых файлов, бинарный и искать уже в нем?
> perl/python/bash etc. Заранее спасибо.

Xapian https://ru.wikipedia.org/wiki/Xapian

На нём, например, сделан
  + почтовый клиент notmuch  https://notmuchmail.org/
  + Recoll http://www.lesbonscomptes.com/recoll/ is a desktop full-text search tool.

Продолжение осмотра
  -> https://ru.wikipedia.org/wiki/%D0%9B%D0%...
  -> https://ru.wikipedia.org/wiki/%D0%9F%D0%...
  -> https://en.wikipedia.org/wiki/List_of_information_retrieval_...

"индекс файлов"
Отправлено _ , 28-Сен-17 22:24 
> Но файлов реально много и find -f . * | xargs  и т.д. будет реально отрабатывать долго.

Silver searcher тебе в зубы :)  Правдо оно без индексов ...

"индекс файлов"
Отправлено Аноним , 01-Окт-17 12:06 
> Доброе время. Допустим есть большой каталог, где регулярно появляются текстовые файлы.
> В каждом файле есть ключевые строки. Допустим по этим строкам я
> хочу найти нужный мне файл. Но файлов реально много и find
> -f . * | xargs  и т.д. будет реально отрабатывать
> долго. С помощью чего можно составить типа индекс файл, который будет
> обновляться при появлении новых файлов, бинарный и искать уже в нем?
> perl/python/bash etc. Заранее спасибо.

man rgrep и не благодарите.
После первого прохода файлы отвиснут в кэше и следующие прогоны будут гораздо быстрее. Без всяких индексов.

"индекс файлов"
Отправлено ALex_hha , 02-Окт-17 14:03 
> man rgrep и не благодарите.
> После первого прохода файлы отвиснут в кэше и следующие прогоны будут гораздо
> быстрее. Без всяких индексов.

вот прям все 10-100кк файлов? о_О