Компания Google объявила об открытии спецификаций и эталонной реализации протокола PSP (PSP Security Protocol), применяемого для шифрования трафика между датацентрами. Протокол использует похожую на IPsec ESP (Encapsulating Security Payloads) архитектуру инкапсуляции трафика поверх IP, обеспечивая шифрование, криптографический контроль целостности и аутентификацию источника. Код реализации PSP написан на языке Си и распространяется под лицензией Apache 2.0...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=57220
> под лицензией Apache 2.0👍
Прости гугл, но вайргад лучше.
> Код реализации PSP написан на языке СиСерьёзные проекты даже гугл на Go не пишет.
>> Код реализации PSP написан на языке Си
> Серьёзные проекты даже гугл на Go не пишет.в принципе, можно на Dart переписать
Да можно и на Петончеге.
Только COBOL !!!
Возможно, вы сделали несколько опечаток в JavaScript? :)
Go всё же прикладной язык, а не системный.
Go на сетевой карте? Мусье немножко наркоман?
Да, надо было бы - на питоне. Вполне гуглостайл, не понимаю, что могло помешать.
Что же их остановило...? Разве что, PikaScript и MicroPython сделаны не ими.
Надо срочно скупить. Распиарить. А потом конечно заблочить девам аккаунты через годик. Это такой хитрый план по утилизации хипстеров и вебмакак :)
> Надо срочно скупить. Распиарить. А потом конечно заблочить девам аккаунты через годик.Ну что вы, что вы - так быстро в гугле не делается. Годика через три перестать пиарить. Годика через еще два - нечаяно при заходе на сайт проекта выводить дурацкую картинку с роботом. Еще через год - выложить какое-нибудь надгробное послание и может быть архив. (а можно не выкладывать)
P.S. я, кстати, правильно понимаю что вся база panoramio уничтожена полностью и безвозвратно?
Переписывание с питона на игогошку других проектов.
Отличная идея, кстати!Гугль такое точно купит.
Сервера X86... Си - syntax shugar for Assembler, а это для X86 и, вообще, язык операционки. Хотели оптимизацию вычислений. И выбрали как оптимальный.?
> Go на сетевой карте? Мусье немножко наркоман?А ты думаешь процессор современной сетевой карты хоть как-то слабее например 5-7 летнего процессора общего назначения? на 90% там PowerPC мегагерц так на 500-1000, или на 10% какой-нибудь современный ARM ядро. Лет 15 назад на PowerPC процессорах компьютеры Apple работали в целом нормально.
А ты думаешь современные контроллеры запускаются за реально долгое время секунд 5-10? Это не просто так - там явно какая-то ОСЬ запускается, вполне возможно и Linux ядро..
скорее всего этот проект написан ещё до того как был написан Go.. а от переписывания на Go тут нет финансового выигрыша
в одной из презентаций Сноудена было ясно показно, что соединения между датацентрами в гуглаге не шифровались. типа и так сойдет. что же заставило их разработать аж целый протокол ?
мб у "кого надо" появились достаточные мощности для взлома TLS в реальном времени.
а скорее всего "кому надо" гугл тупо зеркалирует трафик плейнтекстом, а шифрует трафик для защиты от случайных Васянов - инженеров в промежуточных дц/IX
А при чем тут IX, дуpачок? Ты думаешь они пропускают внутренний трафик через помойки вроде MSK-IX? Нет, там только тебе, нищебpоду отдают трафик, т.к. денег на нормальный транзит у тебя никогда не было.
Гугол так то деньги считать любит - и если можно сэкономить копеечку транзитом через помойку - они это совершенно точно сделают, если это не создает проблем. Вот, видимо, один из инструментов.
> если можно сэкономить копеечку транзитом через помойку - они это совершенно точно сделаютСовершенно точно не сделают. Знаю по опыту работы в транзитной as. Гугл весьма и весьма придирчив в своём выборе операторов.
Это было почти 10 лет назад. У них давно уже cross-DC траффик шифруется.
У опеннета нет хронотропа. Всё произошло одновременно и только что.
> в одной из презентаций Сноудена было ясно показно, что соединения между датацентрами
> в гуглаге не шифровались. типа и так сойдет.не типа сойдет, а вообще не существовало промышленных решений на такую ширину каналов и такие потоки. Гугль рассчитывал, впрочем, что до поры до времени и для незаметного перехвата их не существует - но оказалось что и у nsa диски стали бездонные.
> что же заставило их разработать аж целый протокол ?
вот это и заставило. Помимо протокола там еще свое железо, на котором этот протокол вертят.
Упомянутому Вами Агентству нет необходимости заниматься перехватом данных, передаваемых между датацентрами корпорации Google.
Необходимости конечно нет - еще копаться в этом на 99% ненужном мусоре, когда можно просто купить готовое, на тарелочке с голубой каемочкой, гугль совершенно не боится запаха денег. Но с чего бы они стали - покупать, если бы было можно по прежнему тырить бесплатно? (ну, по цене оптосплиттера)Поэтому и пришлось все от таких экономных пошифровать, чтоб заходили через кассу, а не прорытые ходы в обход.
Да-да, пока на ржавом не перепишут - дыра-дырой!:)
И опять ненужно-udp... На _собственном_ оптоволокне гугля на собственном аналоговнеимеющем оборудовании - нет, все равно будем делать ненужную херню.Ну, видимо, современные "разработчики" все такие. Во всяком случае, те что еще нанимаются с горя в гугль.
> И опять ненужно-udp...
Полагаю, что автор комментария выше ожидал, что это будет отдельный протокол (в IP-смысле), а не протокол, инкапсулированный в UDP.А автору выше отвечу: в Linux UDP хорошо оптимизирован, поэтому протоколы, инкапсулированные в него, в среднем работают быстрее, чем отдельные. Поэтому, например, предпочтительно использовать GRE over fou или gue, а не чистый GRE.
>UDP based encapsulation is likely to become ubiquitous in data centers, not just for virtualization use case but also for non-virtualization. The reasons for this are simple: it's a low overhead protocol and allows us to leverage several UDP specific optimizations commonly supported by networking hardware (RSS and ECMP for instance).
Как бы ни была у тебя хорошо оптимизирована еще одна ненужная обертка - от этого лучше работать то что в нее завернуто не станет.Особенно когда декларируемая цель - как раз супероптимизация того что внутри этой обертки. Да еще и вынесенная непосредственно на железо сетевой карты.
Просто гуглерабы любую проблему давно уже рассматривают как гвоздь. Нет протоколов кроме udp.
так ведь протокола лучше действительно нет.
Если для датацентра - есть IL.
А если датацентров больше одного?
Поддержка UDP доступна в любом COTS железе с оптимизациями, есть гигантский рынок специалистов, библиотек, литературы и исследований производительности. Все, кому надо знают что это и как этим пользоваться. А IL оказался настолько ненужным, что депрекейтнулся, не успев взлететь
https://legacy.netdevconf.info/0.1/papers/UDP-Encapsulation-...
В документе подробно описывается, почему выбран именно UDP.However, encapsulating using UDP
provides some distinct advantages:
• Hardware optimizations for scaling, such as RSS
(Receive Side Scaling) and ECMP (Equal Cost
Multipath) routing, can be leveraged. These can
provide significant performance benefits.
• The UDP checksum provides protection against
packet mis-delivery. This especially relevant if a
packet is being encapsulated in IPv6 which does
not include a header checksum.
• Hardware support for UDP checksum can be
leveraged. NIC support for UDP checksum
offload is ubiquitous and can be used to offload
inner checksum calculation.
• The destination UDP port provides a demux for
different encapsulation methods or encapsulation
protocols.
• UDP allows extensible encapsulation protocols.
For instance, some proposed protocols include
sending optional data with encapsulated packets.
Дело не в "хорошей оптимизации в линуксе", а в том, что на одной трети земного шара все протоколы, кроме tcp, udp и icmp считаются "кибернетической угрозой", и забанены нахер.
Дело в том, что почти везде оборудование на L4 не поддерживает работу с чем-то иным, кроме как с TCP/UDP. Поэтому при попытке внедрить какой-либо новый протокол L4 ты сталкиваешься с тем, что надо либо искать вендора, который в железо запилит его поддержку, либо ты получаешь неуправляемую сеть без возможности фильтрации и управления трафиком. Поэтому и пилят поверх UDP.
Я подозреваю, что там роль сыграла одна-единственная оптимизация - GRO/GSO, слияние пачки пакетов в один псевдопакет и отправка его на стек одной большой авоськой. Карты очень хорошо умеют делать это для UDP, некоторые ещё для TCP умеют segmentation offload, и почти не умеют для всего прочего.
А откуда инфа про собственное волокно?
А куда ты думаешь FAANG вкладывают свои бешеные доходы? В инфраструктуру естественно. Популярные платформы и соцсеточки поменяются ещё не раз на нашей памяти, и нет возможности предугадать кто на поверхность выплывет следующий, но кто бы в топ ни выбился, байтики без кабеля потребителю не доставить.
Если не UDP, то что, Васян иксперд с opennet?Почему почти все VPN протоколы на UDP, иксперд?
Ты вообще знаешь хоть что-то про протоколы и почему, например, TCP/IP для энкапсуляции стараются никогда не использовать?
// b.
> Если не UDP, то что, Васян иксперд с opennet?
> Почему почти все VPN протоколы на UDP, иксперд?
> Ты вообще знаешь хоть что-то про протоколы и почему, например, TCP/IP для
> энкапсуляции стараются никогда не использовать?
> // b.На самом деле, иногда тцп нельзя избежать, потому что UDP не всегда проходит NAT.
UDP пробивает NAT гораздо лучше, чем TCP, потому что он stateless.Вы что-то где-то попутали.
> UDP пробивает NAT гораздо лучше, чем TCP, потому что он stateless.
> Вы что-то где-то попутали.UDP пробивает некоторый двухсторонний NAT лучше, чем TCP, потому что NAT-машина не может определить, что входящий пакет на самом деле не "ответ" на отправленный ранее исходящий пакет.
Но это не универсальное правило, например, для UDP нет аналога -R опции ssh. Чтобы NAT пробивался _исходящим_ соединением, но вот на релее создавался _слушающий_ сокет.
Правильно, не читай сразу пиши.
Картам, которые не имеют такой возможностей -- предлагается софт-эмуляция. Что не так?
> ненужно-udpСразу видно маститого специалиста с опеннет.
> На _собственном_ оптоволокне гугля на собственном аналоговнеимеющем оборудованииОперация "Золото" (1953) - _собственный_ кабель МО СССР и собственное аналоговнеимеющее оборудование.
Корп зла опять стала корп добра.
Корпорация вынесла "добра" на свалку.
>PSP применяется шифрование на уровне отдельных сетевых соединений, а не всего канала связинаверно при таком количестве соединений по другому было нельзя...
Наоборот, при таком количестве соединений по другому было можно и нужно, но гуглоинженеры такие вот гуглоинженеры.Сперва придумывают себе трудности, потом героически их преодолевают. Когда у тебя будут бесконечные деньги - ты тоже так сможешь.
а почему нужно по другому? тебе же всёравно надо чтобы один виртуальный сервер даже не пытался читать что там у другого виртуального сервера..
А как сделать по другому с несимметричным шифрованием?
Там проще. Видимо часть соединений идёт одним шифром, часть другим. Ближайший аналог - IPSec transport mode / ESP.А вообще замена ESP, которая бы пролезала всякое, и была обычным UDP - давно напрашивалась.
> А вообще замена ESP, которая бы пролезала всякое, и была обычным UDPвот только зачем гуглю "пролезать всякое" если каналы и оконечное оборудование целиком его?
Просто таскает совершенно ненужную обертку над оберткой для обертки.
Ну вот да, зачем оно гуглу понадобилось - сказать сложно. То ли карты с акселерацией IPSec оказались слишком дорогими, то ли удалось что-то накостылить в пределах акселерации разбора стандартного UDP. То ли просто заняться нечем было. Впрочем, не отменяет :)
Ну то ли дело карты с акселерацией кухонного протокола - вот они-то дешевы, по спецзаказу в штучном количестве.Как ты понимаешь, в шифровании отнюдь не скорость разбора ненужного udp-заголовка медленная операция.
Который вообще незачем разбирать, если от него просто отказаться.Просто они ВСЕ так делают. Других инженеров там уже лет десять не осталось.
Гугол если захочет может себе и ASIC'и разработать. Впрочем в современных серверах с более 9000 ядер можно и выделить под крипто пяток ядер, никто и не заметит.А ежели UDP не юзать - оно такое красивое застревает везде где может застрять. Даже в датацентрах, эти тоже всякие файрволы, защитыотддоса и прочее любят нынче. TCP и UDP оно жрет, а остальное - постольку поскольку.
> То ли карты с акселерацией IPSec оказалисьто ли IPsec сам по себе оказался обманом народа.
> то ли IPsec сам по себе оказался обманом народа.эксперты впопеннета такие вот эксперты...
что такое ? ставить под сомнение безопастность криптографических изделий,
разработанных с участием американского КГБ, уже немодно, грешно и наказуемо ?
мне об этом не докладывали.
> что такое ? ставить под сомнение безопастность криптографических изделий,не умея в криптографию даже на уровне студня второго курса, не понимая механизма работы даже на уровне викивракии, но повторяя высосанные из пальца бредни
> разработанных с участием американского КГБ- безусловно, у руzzкиз модно и ненаказуемо. Ой, ракета йапнулась опять о небесную твердь?
Это б-женька наказал, за то что плохо молились, постились и мало несли бредни про "американское кгб", а совсем не за что другое.
Продолжайте в том же духе, тем более ЦАГИ у вас уже все равно сгорел.
Скорее designed by comittee как есть. Хотели как лучше, по феншую. Получилось как всегда - оверинженернутое г застревающее на первом же нате и файрволе, умопомрачительное в конфигурации.На этом фоне вайргад выглядит лютейшим вином.
> Скорее designed by comittee как есть. Хотели как лучше, по феншую. Получилось
> как всегда - оверинженернутое г застревающее на первом же нате и
> файрволе, умопомрачительное в конфигурации.у меня не застревает, что я делаю не так? А-а, linoops не использую на нате и фиреволе, в котором match esp есть, только не работает, так же как и gre key.
> На этом фоне вайргад выглядит лютейшим г06ном.
поправил, не благодари.
Конфигурация самого ipsec - проста как палка и требует ноль внешних средств. Защищенный начальный обмен ключевой информацией - там да, есть сложности. Если не нравится - вози флэшку фельдкурьером, да, так тоже можно.
Нормальное всё с IPSec.
У него единственный минус - он просто е[двинутый], как и все академические поделки, тот же IPv6 взять.
(как можно было так изуродовать базовый протокол - уму непостижимо)
> (как можно было так изуродовать базовый протокол - уму непостижимо)в базовом ipseс все нормально, он двадцать лет неизменен, только новые шифрования добавлялись.
Авторизация и начальный обмен, чтоб, например, ВСЯ локальная сеть на transport шифровалась и без ручной возни, а у кого нет ключа сразу найух шел - ну вон тут лоб расшибают об вайргад где ничего этого просто нет - и норм. Зато udp, the only linoops/google way!
А как в том линуpсе vxlans работают, например - местные эксперты вообще никогда не разберутся (потому что действительно неразберипоймешь. Да и не надо, вмварь за вас сама все делает.)
PSP Security ProtocolPlay Station Portable Security Protocol. Датацентры какие-то...
Ещё в процессорах есть psp - но не для ускорения эмуляторов.
+1.Я тоже хотел написать этот коментарий :)) Гугл открыл наработки проприетарных протоколов Sony Playstation Portable :))))
У меня в столе PSP 3008 лежит, я бы её прохакал!!
Спасибо, не нужно.
Какие-то проблемы из пальца высосаные..
Ваше мнение очень важно для нас. Нет.// b.
> Ваше мнение очень важно для нас. Нет.
> // b.Ну а на мнение анонима то нас рать и подавно...
Когда твои 0.5% прибавки мощности расползутся на десятки тысяч серверов -- тогда ты поменяешь своё мнение.
В гугле большая часть кода, в том числе инфраструктурного - на питоне. Который в разы больше электричества жрет, чем даже аналоги из скриптовых.
По сравнению с этим экономия на магистральной передаче данных малозначительна.
Возможно только по количеству строк. Гугл уже давно придумал язык Go как раз чтобы писать на нём то что раньше писалось на Питоне.
Придумать-то придумал, только на нем никто не пишет, и все как было на питоне, так и есть. Со слов инсайдера. Можешь конечно не верить.
Со слов инсайдера, тебе верить нельзя. Можешь конечно не верить.
Ещё один эксперт ничего сложнее домашнего лана не видевший. 0.3% экономии на передаче данных в масштабах гугла превращается в миллионы в год. Но очередняра с опеннета знает лучше, что как делать. Покажи свой гугл, маня, посмеемся вместе.
Ок, миллионы.
А на работе питонопродакшена миллиарды впустую летят, тракциллионы. Не говоря уже о том, что один специалист в год получает больше, чем стоит вся передача данных и еще пара стоек железа. А их там тысячи.
> А на работе питонопродакшена миллиарды впустую летят
> один специалист в год получает больше, чем стоит вся передача данных и еще пара стоек железаТак тут-то и вся суть. Можно нанять и обучить трушных мастодонтов-сишников но тогда вместо продакшена который тратит миллионы будут пейролы этим самым мастодонтам на миллиарды. Зато продакшен будет правильный. Правда кому он нужен в таком случае и кто за это все платить будет себе в убыток - абсолютно непонятно.
Они уже резко переписывают все на игогошке, если вы не заметили. Думаете они для красоты тратились на компилер и команду?
Спасибо, ваше мнение очень важно для нас и нашего бизнеса.
Гугол будто в своем мире живет, где ничего нет и все надо переизобрести заново.
Даже NIH свой переизобрели
Ты так говоришь как будто это что-то плохое.
Раз гугл до сих пор живой и не закрылся это значит что такой подход себя экономически оправдывает. Опенсорса и уже существующих протоколов и языков в гугле тоже достаточно используется.
> Раз гугл до сих пор живой и не закрылся это значит чтоденьги у него бесконечные.
Он эти деньги зарабатывает так-то. В том числе благодаря вот такой вот стратегии миллиона проектов из которых выстреливает один процент и переписывания велосипедов, от языков и систем хранения до специфичной аппаратуры и сетевых протоколов.
Не, это ты описал как он эти деньги прое..вает.А "зарабатывает" он тем что заменил собой интернет. Причем ничего своего - все купленное.
Прямо вот пришел и с оружием в руках захватил весь Интернет. Мне кажется ты путаешь причину и следствие.
> Прямо вот пришел и с оружием в руках захватил весь Интернет.с деньгами и властью.
> Мне кажется ты путаешь причину и следствие.
Нет. Ничего из собственных поделок гугля никогда никому либо вообще не было нужно, либо было необязательно для работы того что он зохавал. Большую их часть он успешно зак0пал обратно, сразу или через несколько лет.
Все кроме поиска (и тот не совсем / совсем не пейджем с брином писан) что на самом деле позволяет ему вертеть интернет как хочет - либо куплено, либо украдено.
Что и позволяет поиграться то в гуглесглаз, то вот в чудошифрование - совершенно не считая затрат, потому что это игрушки. На получение мешков денег они никак не способны повлиять.
> с деньгами и властью.И что же за власть такая была у Брина например?
> Ничего из собственных поделок гугля никогда никому либо вообще не было нужно, либо было необязательно для работы того что он зохавалТак ты бы им бизнес-план отправил "как надо правильно" - авось и самому бы прибыли перепало. А то там сидят понимаиш 250 000 инженеров (во тупые, лучше правильно ПО на С за бесплатно писали) со всяких этих ихних дурацких Стенфордов и MIT, так можно было бы их уволить заменив на одного эксперта с задворков сегмента Интренета страны с 2% мирового ВВП. Ввести планы на пятилетку, Отдел Кадров с теткой Люсей, военные сборы, поездки на картошку. А что писать - пусть в ЦК решают. А то ишь распоясались - пишут они всякое! Еще и деньги (свои) задумали тратить как хотят! Непорядок!
> Большую их часть он успешно зак0пал обратноМожно статистику про "большую" часть? И желательно с выкладками по окупаемости инвестиций. И с какого перепугу они обязаны тянуть то что перестает приносить прибыль? Чтобы тебе лично было приятно?
> либо купленоА на чем основаны такие утверждения? Ты со свечкой стоял и весь код из их Perforce на авторство проверил? Про "куплено" это вообще смешно - это как бы не кружок фанатиков пишущих код ради писать - это бизнес, он так работает - покупает, продает, модифицирует, реорганизовывает, инвестирует, закапывает. Я понимаю что для пещерных людей с завода для которых экономика лженаука - это что-то из другой реальности, но не на столько же.
> либо украденоОго! У нас тут сенсация! Гуголь еще и штаны у лоровцев украл! А суд уже был по этому факту? Может гуголь еще и негров линчует и мальчиков в трусиках?
> Что и позволяет поиграться то в гуглесглазУ них все проекты - "играние", кто в игрании сможет выйти на окупаемость - остается и получает инвестиции, кто нет - торжественно уносится на кладбище. Никто не может заранее знать со 100% вероятностью какой из продуктов выстрелит, поэтому они дают шанс как можно большему количеству (пока позволяет бюджет конечно).
> На получение мешков денег они никак не способны повлиять.А мешки денег им с неба Бог посылает или они их на принтере печатают? Или это очередная обидка на то что кто-то умеет зарабатывать деньги в отличие от?
> Компания Google объявила об открытииПеревожу с ЦРУшного: PSP в эпоху Постквантовой криптографии - это уже ненужный отстой. Берите, играйтесь.
> ЦРУА как же психотронное оружие рептилоидов с Нибиру?
> в эпоху Постквантовой криптографииУ тебя сейчас какой год на календаре?
https://www.forbes.ru/newsroom/tehnologii/415467-kitay-zayav...
На заборе тоже заявлено. А за забором - дрова.
> https://www.forbes.ru/newsroom/tehnologii/415467-kitay-zayav...Опять какой-то журнаглист услышал звон, но не определил его локализацию в пространстве.
Кубиты, конечно, очень быстры, только ещё надо придумать под них специфическую задачу, в которой они покажут свою скорость. Что-то пока особо никто не рвётся изучать кубитовый ассемблер.
Да они не то, что быстры. У них другая задача. Кубиты - это перебор вариантов, вероятностное поле.
Он идёт быстро, и есть возможность снимать наблюдения комбинации состояний очень-очень часто с хорошим шансом попасть пальцем в нужную дырку. Поэтому годно для не требующего свервыхосокой точности перебора офиглиардов аналоговых (!) комбинаций.
Но для точных расчётов вероятностное поле неприменимо.
>> https://www.forbes.ru/newsroom/tehnologii/415467-kitay-zayav...
> Опять какой-то журнаглист услышал звон, но не определил его локализацию в пространстве.Звон это у вас в голове, а мы с этим работаем.
И похоже ты ваще не вдупляешь смысла "Постквантовая криптография"
> Кубиты, конечно, очень быстры, только ещё надо придумать под них специфическую задачу,
> в которой они покажут свою скорость. Что-то пока особо никто не
> рвётся изучать кубитовый ассемблер.
> На заборе тоже заявлено. А за забором - дрова.Вы где-то в прошлом веке зависли, со своими пэхапешками и растами,
Работы над постквантовыми криптоалгоритмами идут во всю.
В штатах уже заканчивается конкурс на стандарт.
https://csrc.nist.gov/projects/post-quantum-cryptography/pos...Но куда уж NIST, IBM Research, NXP Semiconductors,.. до задротов с Опенета.
Исчо раз, школота: Когда квантовые компы будут доступны для cборки на коленке
в любом уважающем универе, будет поздно изобретать методы защиты.
...
Показали чем шифруют наши собранные данные.
Ну, теперь пускай откроют наработки связанные с PS Vita, PSP уже не актуально.
(если вы понимаете, о чём я)
хм. А где почитать подробнее?
К примеру, как они ключи обновляют?
>В режиме "stateful" ключи для каждого соединения хранятся на сетевой карте в специальной таблице, по аналогии тем как реализовано аппаратное ускорение в IPsec.Эээ, у Гугля собственные сетевые карты с поддержкой этого добра, что-ли?
a что тебя удивляет ? у них и свитчи и серванты свои