Один из 13 корневых серверов DNS (c.root-servers.net), обеспечивающих работу корневой зоны DNS (начальное звено в цепочке резолинга доменных имён, отдающее сведения о DNS-серверах, обслуживающих домены первого уровня, и ключах для их верификации при помощи DNSSEC) четыре дня находился в сосотянии, не синхронизированном с остальными корневыми DNS-серверами. Работу корневого DNS-сервера "С" (192.33.4.12) обеспечивает 13 серверов, размещённых в разных странах. Все эти серверы c 18 по 22 мая оказались рассинхронизированы с остальной корневой инфраструктурой DNS...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=61249
It’s not DNS
There’s no way it’s DNS
It was DNS🌸 🌸 🌸
Меня больше умиляет «сеть виновата».
А что конкретно выставить ошибку конкретного человека?
А он там в отпуске был, а тут четыре дня...
многие думают раз нет оповещения от систем мониторинга, значить нет проблем, спим спокойно :)В нормальных системах, должно быть ежедневные оповещения о работоспособности системы (УРА: все работает штатно), своего рода селфчек, и альтернативные каналы оповещения. Таким макаром можно вовремя выявлять проблемы, когда когда теряется канал связи с получателем оповещения.
жыза, у меня самодельный наколеночный мониторинг каждое утро уведомляет, что он живой.
думаю, в ынтырпрайзных решениях типа заббикса тоже должно быть что-то подобное.
А теперь представь, что 999 из 1000 серверов, прислали тебе по утру, что они живы ...
Это делается не так. Один сервер мониторинга должен прислать тебе один репорт что он жив и что не работает один из 1000 отслеживаемых серверов
Это работает не так. 999 из 1000 мониторов пришлют тебе рапорты, что они живы и что работают все 1000 отслеживаемых серверов на каждом мониторы. А один промолчит...
> Один сервер мониторинга должен
> прислать тебе один репорт что он жив
> и что не работает один
> из 1000 отслеживаемых серверовА этот один сервер мониторинга будет не жив и значит ничего не пришлёт, а других серверов мониторинга нет потому, что предусмотрен только один.
Да понятно, конечно, что если один не прислал, то должен проснуться какой-то запасной, если не проснётся запасной, то проснётся следующий запасной и так далее. Но в самом начале задачи написано, что сервер мониторинга, аки горец, один. :-)
агрегация отчетов, не не слышал, сводка состояния, не не слышал.
>у меня самодельный наколеночный мониторинг каждое утро уведомляет, что он живой.фу, каждое утро. надо каждую минуту, а то там можно 23 часа о проблеме не знать.
а ещё может gmail зависнуть и тупо втихую не проверять почту.итого, нормальный мониторинг поднимает вебсокет и начинает орать через пару минут после отвала сокета
> а ещё может gmail зависнуть и тупо втихую не проверять почтуА ещё гмайл может внезапно письма начать объявлять спамом и тогда очень долго не узнают об отчётах, если не спохватятся из-за их отсутствия. :-)
Вочдог не каждый день, а каждые 10 минут.Но даже это не всегда может зафиксировать сбой мониторинга как и любой другой мониторинг мониторинга.
зависит от систем, и не надо путать отчет о состоянии с телеметрией реалтаймовой. В случае с сабжем, там должен был в не зависимости от исхода синхронизации, отправиться отчет об этой синхронизации. А как она там устроена синхронизация хрен пойми, по событию или по интервалу.
имея одну систему мониторинга можно мониторить всё, кроме этой системы мониторинга
имея две системы мониторинга можно мониторить вообще всё
> имея одну систему мониторинга можно мониторить всё,
> кроме этой системы мониторинга
> имея две системы мониторинга можно мониторить вообще всёДублёр на дублёре и дублёром погняет! :-)
эта информация всегда есть в логах.
а вот маршруты наверное так не верифициют.
> эта информация всегда есть в логах.
> а вот маршруты наверное так не верифициют.мониторить маршруты должны уже сетевики, и днс админу пофиг должно быть что там у сетевиков отвалилось, но днс админ в любом случае увидит (должен увидеть) этот сбой в трансмиссии.
это был магазин DNS
Вероятно, представители компетентных служб там что-то ковыряли, и попутно сломали синхронизацию.Было бы странно, если бы столь важная система осталась без их внимания, и тем более странно, если бы у них руки росли из правильного места.
Да-да, во всё виноваты федералы :)))Если бы кто-то из трёхбуквенных контор хотел что-то натворить с ДНС, то делали бы это не на одном сервере из 13-ти :)
Но ведь не сразу на всех тринадцати? Начали с "C" и что-то пошло не по плану.
Перефразируя Виктора Степаныча: "Хотели по плану, а получилось как всегда."
про палн там ничего не было сказано -- хотели как лучше, а получилось как всегда
Для "компетентных служб" , кроме как совсем всё сломать (назло им всем отморозить уши) , там нет ничего интересного .
Дорогой мой, если эти умники на час изменят DNS первого уровня ru, ну например для перенаправления трафика на их сервера с целью мониторинга, то может внезапно произойти утечка данных (в частности логина и пароля) огромного числа людей. Именно поэтому не стоит оставлять даже свой роутер с логином и паролем admin/admin как мой сосед.
> изменят DNS первого уровня ru, ну например для перенаправления трафика на их сервера с целью мониторинга, то может внезапно произойти утечка данных (в частности логина и пароля)Чувак, сейчас за пару тысяч рублей можно получить выписку какую еду на какой адрес ты заказываешь и какой карточкой это все оплатил, какой нафиг логин и пароль, если получить твои паспортные данные стоит дороже 5к считай что ты везунчик
Ну не всё решается деньгами. Кто-то эти данные должен добыть. И для некоторых ресурсов сильно рискованно у кого-то покупать информацию. Сейчас это очевидно как никогда - дело в политике.
Допустим из страны БананаРепаблик кто-то захочет узнать новости из ЧалмаРепаблик. Пользователь запрашивает у ISP домен Новости.ЧалмаРепаблик, тот обращается к корневому серверу где ЧалмаРепаблик? Так получилось что корневой сервер вышел из строя и говорит что за это отвечает сервер 3, когда на самом деле за это отвечает сервер 4. Ну пользователь спрашивает у сервера 3, тот спрашивает у сервера 4 и пользователь получает то что нужно, вроде никаких проблем. Но вот спрашивая а где же Новости.ЧалмаРепаблик? Он перенаправляется не к тому серверу, который отвечает за данный домен, а к другому серверу, т.е. 33, который спрашивает уже у 44. И вот внезапно для страны БананаРепаблик появляется новость, которую читают миллионы людей этой страны, которая им не нравится и портит взаимоотношения с ЧалмаРепаблик, а потом внезапно исчезает. Разве такое не реально? Доказать можно? Реально такое купить?
И вот тот же контроль, кстати позволяет сделать VPN. Швободка, она такая - неожиданная. Где-то что-то читать нельзя. Вот мне множество русских ресурсов недоступны даже через VPN, а где-то уже предупреждения выскакивают.
Более вероятно, что ты просто не знаешь, что такое корневые днс и что там нет никакой информации, интересной службам. Им гораздо интереснее работать с регистраторами, что они и делают вполне открыто. Но это ж неинтересно, об этом не пофлудишь, да?)
Можно подумать тут дело в интересе.
А про обратный DNS ты не подумал? Наверно не подумал, потому что в таком случае твой регистратор ничего не заметит и нужный им DNS будет указывать на нужные записи, а все остальное перенаправляться. Вот у вас в стране вовремя среагировал ваш нелюбимый Роскомнадзор, если верить что у вас есть свой корневой сервер и вы им пользуетесь. Но другие страны это не спасёт.
p.s. я предполагаю что вы им не пользуетесь и держите только на всякий случай, если будут проблемы. И даже если он есть, то это не спасёт русских пользователей за рубежом в случае кибератаки на ru. Сделать инструмент проверяющий адекватность работы DNS первого уровня в своей и в других странах просто, но вот вопрос — он есть? И даже если будет обнаружена атака, то что?
И добавлю что проблема в самом протоколе — зачем нужны корневые сервера в Соединённом Говне Америки, если количество стран ограничено? И они вполне могли бы иметь свои корни каждая. Это изначально несвободный подход который был предоставлен швободкой. Знали ли об этом раньше диды?
И добавлю ещё один момент проблемы протокола DNS — политический контекст. Вот это одна из реальных проблем швободки:
Домен Косово: https://ru.m.wikipedia.org/wiki/.xk т.е. xk
Домен Абхазии: https://ru.m.wikipedia.org/wiki/%D0%98%D0... т.е. нет
Сдулась тут швободка — если одна страна признает, а другая не признает, то мы остаёмся в реальности американской соединенной швободки.
И я молчу про международные домены и другие проблемы казалось бы простого протокола. Я уже о них писал, мне тут ответили — никому это не нужно.
Вероятно, представители компетентных служб проводили операцию по атаке каких-нибудь арабов, китайцев или русских включающую подмену DNS. А когда операция завершилась, вернули как было сделав вид, что "не заметили неисправность".
> сбой в системе мониторингаНужна ситема мониторинга системы мониторинга. Я серьезно. Типа кластерного кворума и т.п.
У меня, кстати, так и есть. У меня одна виртуалка следит за всеми моими сервисами с помощью Uptime-Kuma, а за этой виртуалкой следит Freshping - бесплатный сервис. Иначе если сама виртуалка с мониторингом пропадёт, у меня не будет сообщений об этом.
Лишний сервер в цепочке. Сервисы могут следить друг за другом круговой порукой, таким образом, если когда они в массе своей упадут, то будет достаточно одного устоявшего, чтобы пробить тревогу.
Делать запрос ко всем 13 серверам и выбирать наиболее часто встречающийся ответ?
Пиринг спасет мир
На такой случай нужнен альтернативный оффлайн DNS с обновлением раз в месяц или раз в год.
Лучше уж тогда ALFIS (https://alfis.name).
Что будет с твоим альфисом, если подписант не будет онлайн?
Хватит уже впаривать свою унылую поделку. Мало того что впариваешь, так ты еще и скрываешь от своих хомяков что эта поделка ниразу не децентрализована. Сколько раз твоя поделка была на грани закрытия из-за того что очередной подписант не подписывал блок и вы всей шоблой искали его, а тем временем твой альфис стоял колом?
А что будет? ALFIS не децентрализован?
Там блоки подписывают "рандомно" выбранные ноды, если ноды нет в сети, то алфис встает раком. Пока что находили "по знакомым" кому принадлежит подписывающая нода. Но если челик так и не включит свою ноду для подписи, то альфис накрывается медным тазом.
/etc/hosts
Встроенный кеширующий DNS есть даже в самых дешевых роутерах. А так же у любого провайдера.
Нужен альтернативный протокол, а не хренью страдать.
> На такой случай нужнен альтернативный оффлайн DNS
> с обновлением раз в месяц или раз в годИ постепенно таким способом вернуться в систему, о которой говорили, что DNS от такой рутины и прочих неудобств всех спас:
До эпохи DNS на все машины в сети распространялся один и тот же файл /etc/hosts, содержащий соответствия адресов именам. И вот, дескать, изобрели DNS и от этой проблемы эта распределённая система имён всех-то и спасла. :-)
Удивило то, что расхождение в состоянии зон всплыло через три дня после сообщения какого-то чувака в списке рассылки. У них, что нет общей системы мониторинга, которая проверяет работу синхронизации между серверами и актуальность отдаваемых всеми корневыми серверами данных?
Мониторинг был у них же, и тоже был сломан.
Analysis showed this to have been caused by an unrelated routing policy change whose side effect was to silence the relevant monitoring systems.мониторинг не оповестил потому-что маршрут до получателя оповещения пропал, и ни слова про саму проблему рассихронизации. А раз ни слова про проблему, значить обычное дело рассинхронизация.
Один из 13 серверов был рассинхронизирован, так что никто не заметил. Выходит система сработала как надо.
Их специально сделали несчастливое число. Это заговор.
"4 дня находился в рассинхронизированном состоянии"
Я считаю этопозором!
Я считаю всем просто пофиг на этот днс. Сломался и сломался чинить заранее или делать сложный мониторинг это преждевременная оптимизация.
мониторинг не ломался, отвалился канал связи с получателем :) Таким макаром и канал связи с системой за которой мониторят может отвалится. Беда в том, что нет красноглазого админа, который штатно ежедневно проводит осмотр работоспособности всех частей системы, тупо техосмотр перед выездом.
Наличие такого специалиста и есть преждевременная оптимизация. Можно даже посчитать ошибка стоила 0 долларов. А спец стоил больше нуля. Итого все сделали правильно.
> Можно даже посчитать ошибка стоила 0 долларов.Мы ничего не знаем про ошибку, почему сервер С не смог синхронизироваться с сервером публикации изменений. Ошибка могла быть и на стороне сервера публикаций, очем система мониторинга должна была оповестить, и попыталась оповестить, но канал доставки не работал (маршрут пропал до получателя).
> А спец стоил больше нуля. Итого все сделали правильно.
Спец занят там еще кучей других дел (как обычно это бывает), раз нет алертов на почте, значить все в порядке. А по идее как минимум ежедневные отчеты (хотя учитывая критичность системы, там помимо альтернативных каналов оповещения, еще и реалтаймовость должна быть, и реакция на всякого рода сбоев должна быть моментальна) должны прилетать о состоянии системы, и не было такого что проснулись через три дня. А так сразу - нет отчета, чет пошло не так.
пс: в п*длу ведь нанять на полставки студента, чтобы красноглазил просто, и привыкал к ответственности.
Странно что один из основных механизмов сети зависит от конкретной организации и конкретных людей.
Ничего странного -- как следить за сетью это дела владельца сети. Или вы до сих пор верите в розовых пони и свободный рынок?
Внезапно - всё, так или иначе, зависит от конкретного человека. Как говорил Лазарь Каганович - "У каждой аварии есть имя, фамилия и должность".
Может, DNS вообще отменить велел ... "У каждого сервера есть IP-адрес и порт". Ими и будем пользоваться.
Кто тебе мешает отключить в своей системе "днс клиент"?
Не, просто другой будет протокол. Имена это типа удобно, от этого никто не откажется. Монополия удобна для американцев. Они и будут инициаторами. А по нормальному нужны реальные международные механизмы, а не существующая хрень, где международного в целом ничего. Ну или нужен механизм аналогичный, для монополии родной страны, но тут есть нюансы. Бесхребетные на не способны на их преодоление.
Забыл дописать - на одном сервере может быть множество сайтов и именно по домену определяется какой тебе сайт нужен.
когент славен издревле. вон уже месяц не могут переключить нам сеть с одного влана на другой, потому что internal issue in our provisioning system, please wait.
да монополисты все такие, потому что могут. хурикан о проблемах с роутингом отписывает в стиле "да я знаю и что ты мне сделаешь я в другом городе за мат извени" и ничего не делает.
Мы в итоге пришли к связке когент + he + ams-ix + еще один провайдер, куда уходит все что не ушло в урезанный коджент, he+1as и amsix
Что Коджент, что ХЭ - это бомжы в мировом телекоме. Сравни с Level3 или Vodafon, например.
Странная какая-то у них синхронизация. Что такое кворум они не слышали.
> Странная какая-то у них синхронизация. Что такое кворум они не слышали.какой кворум, а кто сказал, что раз один сервер не синхронизирован, то остальные должны отменить синхронизацию?
Да ничо вы не знаете и не умеете.
Надо просто сидеть и МОНИТОРИТЬ! Мониторить и СИДЕТЬ. Тогда и только тогда будет порядок. Как при Сталине!!!
Ну, cogent.co как таковой достаточно хорошо известен в провайдерской среде как косячный лоукостер.
Когда я этим занимался, было практически FAQ: "Почему у меня в (Южную Корею) пинг 200+ мс и адские потери?" — "Ага, там на пути коджент голимый гонит трафик через штаты по забитому каналу." (Орг. выводы в отношении любителя "резать косты", пирящегося с кем попало.)Так что, прикладывание на каких-то 4 дня корневика — так, милый пустячок. (Хотя, по мере торжества легалайза на территории СГА, жизнь может становиться интереснее…)
А кто над ними стоит что вы называете его лоукостером? Он владелец корневого доменного сервера c.root-servers.net 192.33.4.12, 2001:500:2::c Cogent Communications
Посмотрите карту их покрытия и количество серверов:
https://www.cogentco.com/en/network/network-map
https://www.cogentco.com/3d/
Единственная проблема какая у них может быть - неслучайное раздолбайство.
Для тех кто не умеет пользоваться переводчиком, вставляю перевод о домене .int:Домен .int — это специализированный домен, предлагающий регистрацию исключительно межправительственным организациям. Короче говоря, домен .int используется для регистрации организаций, созданных в соответствии с международными договорами между национальными правительствами. Для каждой организации допускается только одна регистрация. За регистрацию доменного имени .int плата не взимается.
Реклама началась про новый протокол DNS от ЕС. Более защищённый от текущих проблем.