Вариант для распечатки		Пред. тема | След. тема
Форум WEB технологии (Базы данных)
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Посоветуйте решение для поиска по большому объёму данных, datahub.1 (ok), 04-Дек-19, (0) [смотреть все] gt оверквотинг удален Все сущности которые вы назвали в контексте задачи- пред, ыы (?), 20:22 , 04-Дек-19, (1)   // gt оверквотинг удален Если и планировал то лишь от недостатка опыта Заплатить , datahub.1 (ok), 20:29 , 04-Дек-19, (2)   Попробуйте перевести базу документов всю, или репрезентативную выборку в текст, Licha Morada (ok), 23:31 , 04-Дек-19, (3) // Какой-нибудь cudagrep может помочь Чем не на халяву , Аноним (6), 02:53 , 06-Дек-19, (6) // В 50М искать легко и это можно решить мимоходом Поиск в 50Г решается уже не в ло, Licha Morada (ok), 05:21 , 08-Дек-19, (16) // Тут этим летом вроде обещают 128 GB s в обе стороны через 2 года в обычном p, Аноним (6), 14:29 , 10-Дек-19, (17) Полнотекстовый поиск - это Sphinx, Elastic, Solr Копайте в этих направлениях Н, Аноним (4), 10:35 , 05-Дек-19, (4) +1 // Полнотекстовый поиск это любая более-менее современная СУБД А то, что вы пер, Миха (??), 18:17 , 11-Дек-19, (23) спасибо большое всем откликнувшимся, datahub.1 (ok), 02:14 , 06-Дек-19, (5) 50Т это много для начинающего Купи https ru wikipedia org wiki Google_Search_A, ACCA (ok), 04:02 , 06-Дек-19, (7) Ммм а история задачи какая Откуда столько файлов и зачем такой объем в pdf , Pahanivo (ok), 11:14 , 06-Дек-19, (8) gt оверквотинг удален Ну вот вам как вариант идеи https www tsgrp com 2015 0, fantom (??), 12:20 , 06-Дек-19, (9) // gt оверквотинг удален 10 шт вот таких 8тб интелов, которочку к ним соотв и, fantom (??), 12:36 , 06-Дек-19, (10) // прямым поиском скриптами Даже если эти диски дадут реальные 3200mb s последова, Pahanivo (ok), 13:29 , 06-Дек-19, (11) // Посоветуйте решение для поиска по большому объёму данных, Pahanivo (ok), 13:30 , 06-Дек-19, (12) Так я и не спорю, для такого поиска на дешевом железе аналогичным подходом жда, fantom (??), 14:15 , 06-Дек-19, (13) тут индексы надо , Pahanivo (ok), 00:01 , 07-Дек-19, (14) gt оверквотинг удален 1 штампуем 50000 баз 50 000 1 000 000 записей 102, cool29 (?), 02:22 , 07-Дек-19, (15) // Не сработает ни разу 1 PDF могут быть в CP1251, UTF-8, UTF-16, а могут исп, ACCA (ok), 22:48 , 10-Дек-19, (18) // gt оверквотинг удален ну сказано же 95 содержимого документов текст Кодировк, cool29 (?), 23:51 , 10-Дек-19, (19) +1 // вот кстати и как конвертер для извлечения текста из pdfhttps habr com en post , cool29 (?), 00:00 , 11-Дек-19, (20) Ну и как совсем тупой вариант аннотация Для каждого документа пишется аннотация, cool29 (?), 00:12 , 11-Дек-19, (21) Хорошая идея Если ты сможешь за 5 минут прочитать документ и написать аннотацию, ACCA (ok), 13:39 , 11-Дек-19, (22) Ну тут конечно я чет не посмотрел на кол-во документов Мдам Чем такой фигней, cool29 (?), 22:06 , 11-Дек-19, (26) структура разных версий pdf известна Задача определить кодировку документа трев, Миха (??), 18:27 , 11-Дек-19, (25) // Структура известна - каждый вендор реализовал PDF по-своему, со своими глюками , ACCA (ok), 06:47 , 17-Дек-19, (27) Нет какого-то волшебного средства для полнотекстового поиска Есть много шумих, Миха (??), 18:24 , 11-Дек-19, (24) // Тебя обманули Полнотекстовый поиск существует, и его можно гонять на хадупе Но , ACCA (ok), 06:52 , 17-Дек-19, (28) 1,3,4,5,7,8,9,15,24

Сообщения

[Сортировка по времени | RSS]

1. "Посоветуйте решение для поиска по большому объёму данных"	+/–
Сообщение от ыы (?), 04-Дек-19, 20:22
>[оверквотинг удален] > 1 Возможность запустить это всё на как можно более дешёвом и досутпном > железе - это критично т.к. бюджет на инфраструктуту ограничен > 2 Скорость поиска > 3 Надёжность и отказоустойчивость > 4 Лёгкость масштабирования > Самостоятельно почитал про Эластик, Монго, Постгр, Касандру и от этого ещё больше > запутался. > Если у кого-то есть опыт в схожих задачах поделитесь идеей при помощи > каких технологий это можно было бы реализовать. > Спасибо заранее всем откликнувшимся Все сущности которые вы назвали в контексте задачи- предполагают что вы планируете заниматься велосипедостроением. Потому что если готовы заплатить за решение - ваш вопрос вообще  не имеет смысла.
Ответить | Правка | Наверх | Cообщить модератору

	2. "Посоветуйте решение для поиска по большому объёму данных"	+/–
	Сообщение от datahub.1 (ok), 04-Дек-19, 20:29
	>[оверквотинг удален] >> 4 Лёгкость масштабирования >> Самостоятельно почитал про Эластик, Монго, Постгр, Касандру и от этого ещё больше >> запутался. >> Если у кого-то есть опыт в схожих задачах поделитесь идеей при помощи >> каких технологий это можно было бы реализовать. >> Спасибо заранее всем откликнувшимся > Все сущности которые вы назвали в контексте задачи- предполагают что вы планируете > заниматься велосипедостроением. > Потому что если готовы заплатить за решение - ваш вопрос вообще   > не имеет смысла. Если и планировал то лишь от недостатка опыта. Заплатить кому-то чтобы установил и настроил необходимый софт, запустил индексацию и сделал апи для вызова поиска у меня к сожалению возможности нету. Есть лишь спонсор на железо. Я был бы Вам очень признателен за более детальный ответ.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема