forum.opennet.ru

"Посоветуйте решение для поиска по большому объёму данных"

Форум WEB технологии
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

. "Посоветуйте решение для поиска по большому объёму данных"	+/–
Сообщение от Pahanivo (ok), 06-Дек-19, 13:29
> 10 шт. вот таких 8тб интелов, + которочку к ним соотв. и > вполне может получиться чуть-ли не shell скриптами, самое узкое место в > таких поисках -> ввод/вывод с диска данных, прямым поиском скриптами??? Даже если эти диски дадут реальные 3200mb/s последовательного чтения, даже если предположить что страйп из десятка дисков даст кратное увеличение скорость до 32gb/s последовательнго чтения - то 50tb будут читаться прямым поиском минимум полчаса. Те в реальности один запрос в час.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Посоветуйте решение для поиска по большому объёму данных, datahub.1, 04-Дек-19, 20:06 [смотреть все]

gt оверквотинг удален Все сущности которые вы назвали в контексте задачи- пред, ыы, 04-Дек-19, 20:22 (1) //
- gt оверквотинг удален Если и планировал то лишь от недостатка опыта Заплатить , datahub.1, 04-Дек-19, 20:29 (2)
Попробуйте перевести базу документов всю, или репрезентативную выборку в текст, Licha Morada, 04-Дек-19, 23:31 (3) //
- Какой-нибудь cudagrep может помочь Чем не на халяву , Аноним, 06-Дек-19, 02:53 (6) //
  - В 50М искать легко и это можно решить мимоходом Поиск в 50Г решается уже не в ло, Licha Morada, 08-Дек-19, 05:21 (16) //
    - Тут этим летом вроде обещают 128 GB s в обе стороны через 2 года в обычном p, Аноним, 10-Дек-19, 14:29 (17)
Полнотекстовый поиск - это Sphinx, Elastic, Solr Копайте в этих направлениях Н, Аноним, 05-Дек-19, 10:35 (4) //
- Полнотекстовый поиск это любая более-менее современная СУБД А то, что вы пер, Миха, 11-Дек-19, 18:17 (23)
спасибо большое всем откликнувшимся, datahub.1, 06-Дек-19, 02:14 (5)
50Т это много для начинающего Купи https ru wikipedia org wiki Google_Search_A, ACCA, 06-Дек-19, 04:02 (7)
Ммм а история задачи какая Откуда столько файлов и зачем такой объем в pdf , Pahanivo, 06-Дек-19, 11:14 (8)
gt оверквотинг удален Ну вот вам как вариант идеи https www tsgrp com 2015 0, fantom, 06-Дек-19, 12:20 (9) //
- gt оверквотинг удален 10 шт вот таких 8тб интелов, которочку к ним соотв и, fantom, 06-Дек-19, 12:36 (10) //
  - прямым поиском скриптами Даже если эти диски дадут реальные 3200mb s последова , Pahanivo, 06-Дек-19, 13:29 (11) //
    - Посоветуйте решение для поиска по большому объёму данных, Pahanivo, 06-Дек-19, 13:30 (12)
    - Так я и не спорю, для такого поиска на дешевом железе аналогичным подходом жда, fantom, 06-Дек-19, 14:15 (13)
      - тут индексы надо , Pahanivo, 07-Дек-19, 00:01 (14)
gt оверквотинг удален 1 штампуем 50000 баз 50 000 1 000 000 записей 102, cool29, 07-Дек-19, 02:22 (15) //
- Не сработает ни разу 1 PDF могут быть в CP1251, UTF-8, UTF-16, а могут исп, ACCA, 10-Дек-19, 22:48 (18) //
  - gt оверквотинг удален ну сказано же 95 содержимого документов текст Кодировк, cool29, 10-Дек-19, 23:51 (19) //
    - вот кстати и как конвертер для извлечения текста из pdfhttps habr com en post , cool29, 11-Дек-19, 00:00 (20)
      - Ну и как совсем тупой вариант аннотация Для каждого документа пишется аннотация, cool29, 11-Дек-19, 00:12 (21)
        
        Хорошая идея Если ты сможешь за 5 минут прочитать документ и написать аннотацию, ACCA, 11-Дек-19, 13:39 (22)
        
        Ну тут конечно я чет не посмотрел на кол-во документов Мдам Чем такой фигней, cool29, 11-Дек-19, 22:06 (26)
  - структура разных версий pdf известна Задача определить кодировку документа трев, Миха, 11-Дек-19, 18:27 (25) //
    - Структура известна - каждый вендор реализовал PDF по-своему, со своими глюками , ACCA, 17-Дек-19, 06:47 (27)
Нет какого-то волшебного средства для полнотекстового поиска Есть много шумих, Миха, 11-Дек-19, 18:24 (24) //
- Тебя обманули Полнотекстовый поиск существует, и его можно гонять на хадупе Но , ACCA, 17-Дек-19, 06:52 (28)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру