Опубликован релиз Netflow/IPFIX коллектора Xenoeye 23.11, позволяющего собирать с различных сетевых устройств статистику о потоках трафика, передаваемую с использованием протоколов Netflow v5, v9 и IPFIX, а также обрабатывать данные, генерировать отчёты и строить графики. Ядро проекта написано на языке С, код распространяется под лицензией ISC...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=60077
GEOIP показывает страну с точностью в районе 15000км, а вы долготу и широту угадывать собрались. Это называется попробуй придумать нечто более бесполезное и ненадёжное.
> с точностью в районе 15000кмхалявной максмайнд базой пользуетесь?
альтернативы?
платная база, очевидно же.
если нищeбpод или паспорт не того цвета - можно купить базу на торрентах.
Широта и долгота есть в базах ipapi. Это просто широта и долгота города, плюс-минус. Эти данные используют для того чтобы показать "точки" (или пятна) на карте мира.Менеджерам среднего звена и скучающим домохозяйкам такие карты с пятнами нравятся. Загуглите geoip, там будут такие картинки. Их делают как раз из этих данных.
А sflow он не умеет? очень жаль :(
Откройте ишшуй на гитхабе, если не сложно. Можно на русском. Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Или хотя бы дамп + пояснения.Насколько я понимаю, сделать полноценную поддержку sFlow довольно сложная задача. Он же умеет экспортировать кусочки пакетов. Если делать нормально, то нужно уметь парсить эти кусочки, причем придется писать практически все заново. *DPI проекты не заточены на такое, им нужны пакеты целиком
Да нет меня на гитхабе и не будет к сожалению :(Если внесете sflow в планы, то для генерации sflow можно использовать pmacct. Он умеет это с помощью плагина sfprobe
> меня на гитхабе и не будетКто-то уже создал issue, все нормально. Хорошо, я поговорил с нашими сетевыми гуру, они пообещали найти железку с sFlow для экспериментов. Посмотрим еще на host-generated sFlow. Не могу обещать, что поддержка появится скоро, но в планы ее точно добавили
>Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют.Посмотрите софтроутер VyOS, он вроде умеет в sFlow делать экспорт: https://docs.vyos.io/en/latest/configuration/system/sflow.html
>VyOS supports sFlow accounting for both IPv4 and IPv6 traffic. The system acts as a flow exporter, and you are free to use it with any compatible collector.
> А sflow он не умеет? очень жаль :(goflow2 умеет. Собираем им статистику с наших SRX, работает отлично.
>экспортирует данные в PostgreSQLХотелось бы в influxdb, оно для этих целей больше годится, или там postgre надо с timescaledb собирать?
>Хотелось бы в influxdb, оно для этих целей больше годитсяНет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Наберите в гугле "influxdb performance issues", удивитесь.
Как ни странно, обычный постгрис, без timescaledb - очень, очень неплохой вариант.
То есть мы можем дописать экспорт в вашу любимую БД, это несложно. Коллектор будет генерировать текстовые файлы в другом формате. Откройте ишшуй на гитхабе, если вам действительно нужно. Но сами у себя пользоваться influxdb мы точно не станем
Погоняю на postgre, посмотрю как оно. У меня сейчас netflow на допотопном nfcapd, когда нужно было что-то поставить ничего кроме него не нашлось, а ваш проект поживее выглядит, надеюсь что продолжит развиваться.
> ПогоняюВот он, настоящий линукс-гейминг.
> на допотопном nfcapdА чем плох nfcapd + nfsen? Не, я не спорю, мне для общего понимания ситуации :)
> Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут.Практически все БД так себя ведут, вопрос только в пороговой нагрузке. С influx вы приехали раньше, с постгресом приедете чуть позже. Исключением являются разве что OLAP, например, кликхаус, способный жрать миллионы записей в секунду.
Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в БД, а в брокер (как правило, Kafka), из которого отдельный компонент уже выгребает и вставляет в БД. Благодаря нефиговым возможностям горизонтального масштабирования кафки, эта штука может переварить гигантские пики данных.
При прямой вставке в БД, когда поток данных превысить возможности БД, система, скорее всего, просто повиснет (в лучшем случае, если БД настроена хорошо и есть таймауты и реконнекты в клиенте, дело ограничится потерей данных).
> Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в
> БД, а в брокерхорошим тоном является не усложнять без особой нужды.
иначе будет как у этих: habr.com/ru/companies/leroy_merlin/articles/
> хорошим тоном является не усложнять без особой нужды.Естественно. И способность переваривать пики входных данных - это и есть "особая нужда".
Потому что система не должна виснуть под нагрузкой.
> Естественно. И способность переваривать пики входных данных -
> это и есть "особая нужда".где-то мощностей недодали. не вижу ничего "особого".
Я пробовал Influx с Netflow-данными и он показался тормозным и сильно жрущим дисковое пространство. Сейчас гляжу в сторону VictoriaMetrics, он вроде получше.
IMHO, Prometheus-подобные TSDB - не лучший выбор для таких задач. Если вы хотите агрегацию статистики по сетям хотя бы /20 (например), то кардинальность рядов (количество сочетаний меток для ряда с одним именем) будет зашкаливающей, и даже Victoria может не вывезти.Мы пришли к использованию кликхауса, который отлично переваривает огромные объемы данных и поддерживает аггрегирующие таблицы, что позволяет хранить обобщенные данные за большой период (грубо говоря, как graphite).
эхехе где же вы были в моем 2005 году ?
нетфлоу коллектором мне пришлось заводить какую-то индусскую поделку на java и ту под виндой. что-то оно даже показывало, но тормоза и глюки доставали.
В 2004 уже был flow-capture из flow-tools. Показывать, конечно, сам ничего не показывал, он же коллектор, а собирал исправно.
> где же вы были в моем 2005 году ?Использовали ipcad и не парились?
> Использовали ipcad и не парились?он же только экспорт умеет ?
я в конце концов подобрал простой и быстрый
https://cgit.freebsd.org/ports/tree/net-mgmt/ipacctd
разумеется чужой поток netflow он принимать не умел.
а потом безлимиты пошли, ничего уже не надо считать,
только резать мусор и иногда шейпить.
ой, вот тут Вы про "считать" не правы! приходит к Вам "товарищмайор" и спрашивает: "а вот вас полгода назад чучело студентообразное из Мухозасиженска атаковало с ип адреса ... что Вы на это можете сказать?" Или как альтернатива: "с ип-адреса (указывается ip-адрес Вашего НАТа) были атаки на ..."И если у Вас таки есть логи фаервола и статистика netflow, то Вы за 2 минуты даёте исчерпывающий ответ, а в противном случае имеете массу приятных мгновений.
> И если у Вас таки есть логи фаервола и статистика netflow, тоничего не гарантирует, если полицай закусил удила в погоне за палкой или заказом.
"ваши логи - поддельный фуфел. вот наши эксперты посмотрят изъятое железо
и сами все определят (или нарисуют, неважно)".
> ничего не гарантирует, если полицай закусил удила в погоне ...Ну, тут есть два момента: 1) я описываю свой личный положительный опыт, 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.
> 1) я описываю свой личный положительный опытвы могли бы положить на их дурацкие запросы болт.
"логов не ведем, даже по закону ярозулиной не обязаны (если тогда был тот закон вообще),
обратитесь к аплинку, возможно у них есть". на этом все.> 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.
вестись на добрых полицаев - признак лоховства.
кстати ZOGадка: добрый полицай и злой полицай - какой хуже ?
полицай (если ему не дали конкретно за тебя денег) даже не пошевелится твой телефон набрать. Плавали знаем. Если ты не светился в уголовной хронике, можешь забивать и не париться.у меня такой был, в финале позвонил и хотел вызвать на допрос в день рождения. Был послан, страшно удивился, но больше не звонил.
> позвонил и хотел вызвать на допрос в день рождения.есть у них лайфхак, когда неохота возиться с повестками или отчитываться за повестки:
"примите телефонограмму под запись". можно отморозиться.
Опять на Сях, писать блин больше не на чем чтоли? Нечитаемая каша в итоге, как всегда.
Так специальный язык сделали, чтобы нечитаемость кода увеличилась на порядок.
Жаль, что его нельзя называть.
Зато быстро работает.