forum.opennet.ru - "Банда HTTP-проксей (распределённый по сети кэш)" (14)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Банда HTTP-проксей (распределённый по сети кэш)"

Форумы Настройка Squid и других прокси серверов (Разное)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Банда HTTP-проксей (распределённый по сети кэш)"		+/–
Сообщение от Kirikaza on 08-Фев-10, 09:42
Привет! Есть некая большая сеть, в которой мне хочется организовать банду проксей, которые бы не только делились кэшем, но и обменивались информацией о других соседях. Т.е. появился новый проксик, достучался до любого проксика из банды -- и от него получил список всей банды, а также сам тоже стал полноправным её членом. Вроде бы, это похоже на обмен пирами в ed2k и torrent. Есть какие-то решения, возможно патчи там к чему-н? Поиск выдал тему "Распределённая сеть сквидов" от 28.11.07, но она пустая и уже удалена. Может, с тех пор что-то изменилось? Или вместо Squid здесь нужно что-то другое? Может, и прокси надо не HTTP, а SOCKS?
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Банда HTTP-проксей (распределённый по сети кэш), sage444, 09:53 , 08-Фев-10, (1)

Банда HTTP-проксей (распределённый по сети кэш), Kirikaza, 11:40 , 08-Фев-10, (2)

Банда HTTP-проксей (распределённый по сети кэш), Av, 12:08 , 08-Фев-10, (3)

Банда HTTP-проксей (распределённый по сети кэш), Kirikaza, 12:52 , 08-Фев-10, (4)

Банда HTTP-проксей (распределённый по сети кэш), MaxIKot, 15:31 , 08-Фев-10, (6) –1

Банда HTTP-проксей (распределённый по сети кэш), kirikaza, 16:52 , 08-Фев-10, (9)

Банда HTTP-проксей (распределённый по сети кэш), Basiley, 07:43 , 09-Фев-10, (10) –1

Банда HTTP-проксей (распределённый по сети кэш), kirikaza, 10:15 , 10-Фев-10, (13)

Переформулирую..., Kirikaza, 13:08 , 08-Фев-10, (5)
Банда HTTP-проксей (распределённый по сети кэш), Square, 15:49 , 08-Фев-10, (7)

Банда HTTP-проксей (распределённый по сети кэш), kirikaza, 16:44 , 08-Фев-10, (8)

Банда HTTP-проксей (распределённый по сети кэш), Pahanivo, 09:51 , 10-Фев-10, (11)

Банда HTTP-проксей (распределённый по сети кэш), kirikaza, 10:13 , 10-Фев-10, (12)

Банда HTTP-проксей (распределённый по сети кэш), Pahanivo, 10:16 , 10-Фев-10, (14)

Сообщения по теме [Сортировка по времени | RSS]

1. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от sage444 (ok) on 08-Фев-10, 09:53

мне вот интересно
в каких легальных целях можно использовать вашу "банду"?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от Kirikaza on 08-Фев-10, 11:40

>в каких легальных целях можно использовать вашу "банду"?
Ой, зря я использовал слово "банда" ;) Неудачная калька с "gang". Цель на самом деле абсолютно легальна. Зайду издалека...
Присылает мне приятель ссылку на видео-ролик или на какую-н большую жирную страницу. Он её, ессно, уже скачал. А у нас с ним один провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему бы у него не вытянуть эту штуковину из кэша?
Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать, сколько же) и кусок опыта.
Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен хэш файла и кусочков, а тут можно подсунуть всё что угодно. Или нет?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от Av (??) on 08-Фев-10, 12:08

>[оверквотинг удален]
>провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему
>бы у него не вытянуть эту штуковину из кэша?
>
>Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка
>без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать,
>сколько же) и кусок опыта.
>
>Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен
>хэш файла и кусочков, а тут можно подсунуть всё что угодно.
>Или нет?
использовать прозрачный прокси?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от Kirikaza on 08-Фев-10, 12:52

>использовать прозрачный прокси?
Не совсем понял, к чему именно этот вопрос... У каждого чувака на компе будет стоят проксик-бандит, у которого чувак и запрашивает URL. При запуске проксика необходимо достучаться до ближайшего соседа из банды, чтобы узнать её состав. А дальше... если это Squid, то он рассылает всем соседям по ICP запрос и там уже всё само работает как надо.
А уж какой прозрачности будет прокси у каждого отдельного чувака -- это его дело =)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Банда HTTP-проксей (распределённый по сети кэш)" –1 +/–

Сообщение от MaxIKot on 08-Фев-10, 15:31

SQUID -> SIBLING

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от kirikaza (ok) on 08-Фев-10, 16:52

>SQUID -> SIBLING
А он спросит у соседей соседа? Вроде как нет...
Я бы рад написать в конфиге что-то вроде такого:

while (true) {
    cache_peer  `get_gang()`  sibling  3128
    wait_gang_changes();
}

Но это придётся писать в исходниках.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Банда HTTP-проксей (распределённый по сети кэш)" –1 +/–

Сообщение от Basiley (ok) on 09-Фев-10, 07:43

>мне вот интересно
>в каких легальных целях можно использовать вашу "банду"?
IMO, в легальных нельзя.
+жесткие ассоциации именно с ботнетами(есть варианты и похуже :0/)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от kirikaza (ok) on 10-Фев-10, 10:15

> +жесткие ассоциации именно с ботнетами(есть варианты и похуже :0/)
Ботнеты на кэширующих прокси-серверах? Может, и на J2EE-серверах предложите?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Переформулирую..." +/–

Сообщение от Kirikaza on 08-Фев-10, 13:08

Теперь уже вижу определённые проблемы, поэтому поставлю вопрос иначе.
Если я правильно понимаю, то абсолютная свобода в такой банде (кто захотел, тот и вступил) недопустима, иначе кто-н верняка напакостит и будет выдавать левый контент. Поэтому надо организовывать некий список членов банды, в который включать только "на общем собрании" ;) В таком случае при старте проксика он должен знать хотя бы одного члена банды, чтобы получить последний свежий список всех бандитов. Далее, если проксик это Squid, то по ICP он рассылает запросы ко всем членам банды и там уже всё хорошо, ведь Squid сам рассчитывает кто ближе, у кого кэш свежее и т.п.
Возможно, с таким ТЗ уже проще самому написать отдельный серверок, который бы просто правил кусок конфига Squid-а и делал reload; ещё как-то он должен распространять "gang.lst". Но вот стóит ли это делать самому или лучше чем-то воспользоваться?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от Square (ok) on 08-Фев-10, 15:49

>[оверквотинг удален]
>соседях. Т.е. появился новый проксик, достучался до любого проксика из банды
>-- и от него получил список всей банды, а также сам
>тоже стал полноправным её членом. Вроде бы, это похоже на обмен
>пирами в ed2k и torrent. Есть какие-то решения, возможно патчи там
>к чему-н?
>
>Поиск выдал тему "Распределённая сеть сквидов" от 28.11.07, но она пустая и
>уже удалена. Может, с тех пор что-то  изменилось? Или вместо
>Squid здесь нужно что-то другое? Может, и прокси надо не HTTP,
>а SOCKS?
http://xgu.ru/wiki/Squid_%D0%B8_LDAP

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от kirikaza (ok) on 08-Фев-10, 16:44

>http://xgu.ru/wiki/Squid_и_LDAP
Эх, самое интересное пока что «в процессе написания». Но всё равно судя по аннотации речь идёт немного о другом: «На этой странице описывается как построить распределённую иерархию прокси-серверов Squid, так что бы они при этом получали информацию об ограничениях пользователей из каталога LDAP». Судя по поиску, делаются подобные вещи через ACL (сначала «external_acl_type», потом «acl ... external ...»). А соседи в Squid добавляются через «cache_peer», который с ACL никак не работает.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от Pahanivo (ok) on 10-Фев-10, 09:51

как раз сегодня попалась на глаза статейка про вред курительных сетей на основесе синтезированных каннабиноидов ...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от kirikaza (ok) on 10-Фев-10, 10:13

>как раз сегодня попалась на глаза статейка про вред курительных сетей на
>основесе синтезированных каннабиноидов ...
Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов занудствующих специалистов.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Банда HTTP-проксей (распределённый по сети кэш)" +/–

Сообщение от Pahanivo (ok) on 10-Фев-10, 10:16

>Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов
>занудствующих специалистов.
спасибо, ваше разведение сферических коней в вакууме тоже весьма конструктивно и познавательно!

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
Сообщение от sage444 (ok) on 08-Фев-10, 09:53
мне вот интересно в каких легальных целях можно использовать вашу "банду"?
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	2. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от Kirikaza on 08-Фев-10, 11:40
	>в каких легальных целях можно использовать вашу "банду"? Ой, зря я использовал слово "банда" ;) Неудачная калька с "gang". Цель на самом деле абсолютно легальна. Зайду издалека... Присылает мне приятель ссылку на видео-ролик или на какую-н большую жирную страницу. Он её, ессно, уже скачал. А у нас с ним один провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему бы у него не вытянуть эту штуковину из кэша? Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать, сколько же) и кусок опыта. Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен хэш файла и кусочков, а тут можно подсунуть всё что угодно. Или нет?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	3. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от Av (??) on 08-Фев-10, 12:08
	>[оверквотинг удален] >провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему >бы у него не вытянуть эту штуковину из кэша? > >Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка >без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать, >сколько же) и кусок опыта. > >Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен >хэш файла и кусочков, а тут можно подсунуть всё что угодно. >Или нет? использовать прозрачный прокси?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	4. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от Kirikaza on 08-Фев-10, 12:52
	>использовать прозрачный прокси? Не совсем понял, к чему именно этот вопрос... У каждого чувака на компе будет стоят проксик-бандит, у которого чувак и запрашивает URL. При запуске проксика необходимо достучаться до ближайшего соседа из банды, чтобы узнать её состав. А дальше... если это Squid, то он рассылает всем соседям по ICP запрос и там уже всё само работает как надо. А уж какой прозрачности будет прокси у каждого отдельного чувака -- это его дело =)
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	6. "Банда HTTP-проксей (распределённый по сети кэш)"		–1 +/–
	Сообщение от MaxIKot on 08-Фев-10, 15:31
	SQUID -> SIBLING
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	9. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от kirikaza (ok) on 08-Фев-10, 16:52
	>SQUID -> SIBLING А он спросит у соседей соседа? Вроде как нет... Я бы рад написать в конфиге что-то вроде такого: while (true) { cache_peer `get_gang()` sibling 3128 wait_gang_changes(); } Но это придётся писать в исходниках.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	10. "Банда HTTP-проксей (распределённый по сети кэш)"		–1 +/–
	Сообщение от Basiley (ok) on 09-Фев-10, 07:43
	>мне вот интересно >в каких легальных целях можно использовать вашу "банду"? IMO, в легальных нельзя. +жесткие ассоциации именно с ботнетами(есть варианты и похуже :0/)
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	13. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от kirikaza (ok) on 10-Фев-10, 10:15
	> +жесткие ассоциации именно с ботнетами(есть варианты и похуже :0/) Ботнеты на кэширующих прокси-серверах? Может, и на J2EE-серверах предложите?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

5. "Переформулирую..."		+/–
Сообщение от Kirikaza on 08-Фев-10, 13:08
Теперь уже вижу определённые проблемы, поэтому поставлю вопрос иначе. Если я правильно понимаю, то абсолютная свобода в такой банде (кто захотел, тот и вступил) недопустима, иначе кто-н верняка напакостит и будет выдавать левый контент. Поэтому надо организовывать некий список членов банды, в который включать только "на общем собрании" ;) В таком случае при старте проксика он должен знать хотя бы одного члена банды, чтобы получить последний свежий список всех бандитов. Далее, если проксик это Squid, то по ICP он рассылает запросы ко всем членам банды и там уже всё хорошо, ведь Squid сам рассчитывает кто ближе, у кого кэш свежее и т.п. Возможно, с таким ТЗ уже проще самому написать отдельный серверок, который бы просто правил кусок конфига Squid-а и делал reload; ещё как-то он должен распространять "gang.lst". Но вот стóит ли это делать самому или лучше чем-то воспользоваться?
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

7. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
Сообщение от Square (ok) on 08-Фев-10, 15:49
>[оверквотинг удален] >соседях. Т.е. появился новый проксик, достучался до любого проксика из банды >-- и от него получил список всей банды, а также сам >тоже стал полноправным её членом. Вроде бы, это похоже на обмен >пирами в ed2k и torrent. Есть какие-то решения, возможно патчи там >к чему-н? > >Поиск выдал тему "Распределённая сеть сквидов" от 28.11.07, но она пустая и >уже удалена. Может, с тех пор что-то изменилось? Или вместо >Squid здесь нужно что-то другое? Может, и прокси надо не HTTP, >а SOCKS? http://xgu.ru/wiki/Squid_%D0%B8_LDAP
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	8. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от kirikaza (ok) on 08-Фев-10, 16:44
	>http://xgu.ru/wiki/Squid_и_LDAP Эх, самое интересное пока что «в процессе написания». Но всё равно судя по аннотации речь идёт немного о другом: «На этой странице описывается как построить распределённую иерархию прокси-серверов Squid, так что бы они при этом получали информацию об ограничениях пользователей из каталога LDAP». Судя по поиску, делаются подобные вещи через ACL (сначала «external_acl_type», потом «acl ... external ...»). А соседи в Squid добавляются через «cache_peer», который с ACL никак не работает.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

11. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
Сообщение от Pahanivo (ok) on 10-Фев-10, 09:51
как раз сегодня попалась на глаза статейка про вред курительных сетей на основесе синтезированных каннабиноидов ...
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	12. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от kirikaza (ok) on 10-Фев-10, 10:13
	>как раз сегодня попалась на глаза статейка про вред курительных сетей на >основесе синтезированных каннабиноидов ... Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов занудствующих специалистов.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	14. "Банда HTTP-проксей (распределённый по сети кэш)"		+/–
	Сообщение от Pahanivo (ok) on 10-Фев-10, 10:16
	>Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов >занудствующих специалистов. спасибо, ваше разведение сферических коней в вакууме тоже весьма конструктивно и познавательно!
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору