The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Информационная безопасность (Linux iptables, ipchains / Linux)
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

100K записей в таблицу маршрутизации. Как?, Аноним (0), 17-Апр-18, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


10. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от universite (ok), 17-Апр-18, 18:25 
> Хочу маршрутизировать трафик к заблокированным ресурсам через wireguard.
> Распарсил список блокировок отсюда https://github.com/zapret-info/z-i Объединил адрса
> по маскам там где это возможно.

Вы бы выложили бы скрипты для парсинга...

Ответить | Правка | Наверх | Cообщить модератору

11. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (0), 18-Апр-18, 00:01 
> Вы бы выложили бы скрипты для парсинга...

awk -F ';' '{print $1}' | sed 's/ | /\n/g'
Не мешает еще доменные имена выбрать и отрезолвить у себе через десяток нсов.

Ответить | Правка | Наверх | Cообщить модератору

12. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (0), 18-Апр-18, 00:11 
curl -o blist_cp1251.xml https://raw.githubusercontent.com/zapret-info/z-i/master/dum...
iconv -f cp1251 -t utf8 blist_cp1251.xml > blist.xml

tail -n +2 blist.xml | awk -F ';' '{print $1}' | sed 's/ | /\n/g'

Дальше разберетесь. Не хочу свой гoвнокод показывать, стыдно.

Ответить | Правка | Наверх | Cообщить модератору

13. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от universite (ok), 18-Апр-18, 02:10 
> curl -o blist_cp1251.xml https://raw.githubusercontent.com/zapret-info/z-i/master/dum...
> iconv -f cp1251 -t utf8 blist_cp1251.xml > blist.xml
> tail -n +2 blist.xml | awk -F ';' '{print $1}' | sed
> 's/ | /\n/g'
> Дальше разберетесь. Не хочу свой гoвнокод показывать, стыдно.

Да, уникальных 80K  IP


# tail -n +2 blist.xml | awk -F ';' '{print $1}' | sed 's/ | /\
/g' | sort -u | wc -l
   80016



Ответить | Правка | Наверх | Cообщить модератору

16. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (0), 18-Апр-18, 12:14 
> Да, уникальных 80K  IP

Если забрать доменные имена, отрезолвить и смержить около 90к получается.
А если потом сколлапсировать все смежные ip по маскам можно уменьшить до 50к.

Еще можно роутить ресурсы блокируемые полностью по IP их значительно меньше. А пакеты от пассивного dpi просто отбрасывать.
Достать блокированные по IP можно так
awk -F ';' '{if (($2 == "" && $3 == "") || ($1 == $2)) {print $1}}'

Судя по всему 100к записей в таблице маршрутов ни на что не влияют, а значит можно роутить все без разбора. По крайней мере, на моем домашнем x86 роутере с 16Гб памяти.

Ответить | Правка | Наверх | Cообщить модератору

14. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Andrey Mitrofanov (?), 18-Апр-18, 09:39 
> tail -
>   | awk
>   | sed

|awk -F\; 'NR>1{a=$1;gsub("^ +| +$","",a);gsub(" +","\n",a);print a}'

:D  За державу обидно!

> Дальше разберетесь. Не хочу свой гoвнокод показывать, стыдно.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

17. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от universite (ok), 18-Апр-18, 17:52 
>> tail -
>>   | awk
>>   | sed
> |awk -F\; 'NR>1{a=$1;gsub("^ +| +$","",a);gsub(" +","\n",a);print a}'
> :D  За державу обидно!


# awk -F\; 'NR>1{a=$1;gsub("^ +| +$","",a);gsub(" +","\n",a);print a}' blist.xml |more
...
104.16.107.48
|
104.16.127.30
|
104.16.160.251
|
104.16.161.251
...

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру