Китайская компания ByteDance, развивающая сервис TikTok, опубликовала в списке рассылки разработчиков ядра Linux патчи с реализацией системы Parker (PARtitioned KERnel), позволяющей запускать на одном компьютере одновременно несколько ядер Linux без применения традиционной виртуализации. По решаемым задачам Parker напоминает несколько дней назад представленный проект Multikernel, но отличается от него архитектурой и реализацией...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=63931
Решение топ.
>для снижения накладных расходов и упрощения реализации отсутствует управляющий механизм и все ядра используют одну область изоляции (domain), т.е. ошибка в любом экземпляре ядра может привести к проблемам во всей системе
А ты не ошибайся
Ошибкой будет поставить эти патчи, не на пустом месте же:
- https://opennet.ru/63205-deepin
- https://opennet.ru/63677-stardict
Так там и нету никакого "золяция идеть" - ничего такого, если на то пошло, в ведре нету вообще.
Почтальон... нет, линукс зависает дважды.
Представляешь сколько уязвимостей там?
>ByteDance опубликовала патчиНадеюсь эти патчи останутся только у них:
https://tech.co/news/bytedance-employees-chinese-state-media
Просто у них такая репутация, что в итоге всё ухудшится и будут тратить время на перепроверку кода.
Поговаривают Жиа Тан как раз из этой компании. Её даже в Америке запретили как иноагентскую.
не запретили, а поделили. У них президентом агент Краснов, чего ж жынь тянов-то обижать.
Вот заставить их поделиться бабками - это по нашему, по маговски!
Поделиться - устаревшая технология. Просто сразу национализировать.
300 сотрудников ByteDance раньше работали в китайских СМИ. 15 из них, форбс врать не будет, работают до сих пор.Ужас, ужас, ересь, харам!
То есть никакого расшаривания ресурсов. Кто первый загрузился, тот порезал все на кусочки и запустил всех остальных. Пока все играют по правилам никаких конфликтов по железу. Практически хардверное разделение.
в каком месте оно хардварное?
В практическом, написали же тебе.
Одному кернелу одно ядро CPU, другому - другое, это тебе не хардварное разделение?
Тогда нужен Xeon 6900E.
Это вообще не разделение. Поменял пару PTE на "своем" ядре - и вжух: залез на другое. Про DMA вообще речи нет: там даже если спрятать сегмент от группы ядер путем манипулаций с таблицами MCFG и DSDT, ECAM все равно виден, и при этом в MSR. Спрятать IOMMU, скажем, можно, но их поиск - тоже относительно тривиален.
> Одному кернелу одно ядро CPU, другому - другое, это тебе не хардварное
> разделение?конечно нет, я такое могу и сча сделать с помощью affinity mask, но где там изоляция?
Без чтения первоисточника фраза> В качестве области применения Parker упоминаются компьютеры
> с большим числом ядер CPU, с масштабированием задач на
> которых возникают проблемы.вообще не отвечает на вопрос зачем оно сделано. ИМХО.
Ну все ж очень просто - китайскокодеры не умеют в масштабирование на современных архитектурах (20летней давности).Это не только их болезнь, но у них она в рафинированном виде.
Есть у тебя компьютер, с тером памяти и положим 4 слота по 60 или сколько там ща модно ядер.
Получаем разумеется numa, т.е. не все обращения к этой памяти одинаково полезны, не со всякого pci id в любое место можно дергать неглядя dma, и тому подобные мелочи жизни.Т.е. просто наивно запустить не 60 тредов а 90 - нельзя, из них половина попадет на ядро доступ из которого к памяти через внутреннюю шину будет в четыре раза медленнее (это при хорошем раскладе в 4). А потом еще и полезет к сетевой карте с теми же последствиями.
А заниматься какой-то сложной разработкой да еще в связке с линуксным ведром где механизмов для взаимодействия с той numa кот наплакал - китайца не хотит.
Поэтому просто попилим всю систему на куски по 64 гига (это уложится без всякой numa) и запустим на ней десять (линуксных)ядер. Вот так мы победили коварный американский делл, насовавший нам ненужных ресурсов в сервер!
А, да, сделать это стандарными линуксными средствами виртуализации (читай - kvm) - не получается, потому что... правильно, с numa снова умеет работать примерно никак.
А платить вм...бродкому - шыбкожырно для инвестируемых помоек и вообще они того гляди cрaнкции введут!
(потом конечно все равно заплатят, никуда не денутся, но подурить инв...финансовых спекулянтов еще пару лет удастся)
https://www.opennet.dev/opennews/art.shtml?num=52310
Это другое?
то же самое, конечно (но теперь, уот - гипервизер этоваше - нинуна)
Конечно.
Эта идея стара, как мир. Где-то с прошлого века.
Ты ещё забыл упомянуть про истинно верные китайские архитектуры на которых никакой бродком и kvm даже работать не будет.
да брось, чего там истинокитайского в тех армах? Все работать будет, и даже патчи для луньсуня приняли в ведро, это ж тебе не байкал какой.Но я не уверен что у них есть достаточно мощные платформы, на которых проблема станет видна.
(но если есть или будут - то разумеется, все повторится. не умеют китайцы в самостоятельную разработку, и скопируют разумеется, решение с интелов)
Луньсунь не ARM а MIPS
Мне больше интересно посмотреть заменит ли сабж допустим jailhouse и подобные проекты.Всё же продукт бродкома о котором идет речь и сабж - это не одно и то же. Совсем не одно и то же.
не одно и то же, ага - продукт-то умеет в numa и не повесит тебе пол-вм на один блок, а пол-вм на другой, с общением через шину.
(более того, он еще и виртуальную умеет внутри виртуалки, если тебе таки понадобилась виртуалка не умеющающаяся в один сегмент)а сабж - я его слепила из того что была. Проблема решена, таск закрыт, китайца сегодня не уволили.
(скажи еще, что сам так же не работаешь ;-)
> а сабж - я его слепила из того что была. Проблема решена,
> таск закрыт, китайца сегодня не уволили.
> (скажи еще, что сам так же не работаешь ;-)Вы всё реже угадываете. Пытаетесь отыгрывать гордого дида без таблеток, а получается школотрон не читавший ни хакера ни хабра... ты это... соберись, тряпка! :)
Хабр это уже давно моветон. А хакер всегда был популярной литературой не специализированной.
> Хабр это уже давно моветон. А хакер всегда был популярной литературой не
> специализированной.пох перелогинился и понял что мысль утрачена? Бывает. Только вот была ли мысль?
> Хабр это уже давно моветон.always has been
> А хакер всегда был популярной литературой
лапшой на уши, если быть точным.
А, ну и jailhouse это совсем про другое, это про изоляцию, а не про неспособность в вертикальное масштабирование.
10 лет как есть Numa Autobalancing, с kvm судя по слайдам прекрасно работает.https://www.linux-kvm.org/images/7/75/01x07b-NumaAutobalanci...
Но так-то для прода конечно esx лучше
> 10 лет как есть Numa Autobalancing, с kvm судя по слайдам прекрасно
> работает.
> https://www.linux-kvm.org/images/7/75/01x07b-NumaAutobalanci...
> Но так-то для прода конечно esx лучшеТочно 10? Не 20 с хвостиком?
esx точно 20 лет как существует )
а numa autobalancing в контексте kvm ранее этого pdf не нашел
> 10 лет как есть Numa Autobalancing, с kvm судя по слайдам прекрасно
> работает.Прекрасно работает на слайдах. Ну да, примерно так и обстоят дела.
> Но так-то для прода конечно esx лучше
Ну, как видишь, китаец решил что лучше ну его нафиг, нарежу-ка я ядер и памяти вручную ломтиками - меньше пара уйдет в свисток.
Наверное, не те слайды смотрел ;-)
Но скорее все же смотрел не слайды, а денег на vshpere начальство не дает.
>Прекрасно работает на слайдах. Ну да, примерно так и обстоят делаKVM(один сокет) pid с "верными" taskset и numactl membind не заметит разницы numa или нет.
В остальных приключениях я еще не участвовал )
ты слайды-то видел? Идея в том чтоб НЕ ковыряться вручную.(ну а если ковыряться - то вон китайцы придумали без всякого kvm. Один хрен вручную разделять ресурсы - так хоть на лишнем виртуальном уровне сэкономили треть юаня.)
>придумали без всякого kvmосталось придумать миграцию, доступную из коробки с kvm
>с линуксным ведром где механизмов для взаимодействия с той numa кот наплакалКстати, да. Какие-то маски и т.п. - хаки поверх устаревшего еще в 80-х POSIX.
Опять китайцы свои поделки впаривают: ни документации(хотябы на китайском), ни примеров, ни утилиты управления. Похоже, что документацию и бинарники утилиты будут продавать. Не зря же они коммерческие площадки используют: Multikernel Technologies, Inc., Beijing ByteDance Technology Co., Ltd.
> Опять китайцы свои поделки впаривают: ни документации(хотябы на китайском), ни примеров,
> ни утилиты управления. Похоже, что документацию и бинарники утилиты будут продавать.
> Не зря же они коммерческие площадки используют: Multikernel Technologies, Inc., Beijing
> ByteDance Technology Co., Ltd."ну и товарчик вы мне всучили!" (c)
Т.е. американцам свои поделки без документации впаривать можно, а китайцам - ни-ни. Может хватит уже политику натягивать на линукс.
Чтобы такого не было:
https://www.opennet.dev/opennews/art.shtml?num=63205
Ну вы же не знаете как и сколько европейские разработчики нарушают китайские привила, но вот когда китайские разработчики нарушают европейские правила тогда да - гнев и праведное возмущение. У вас предвзятое отношение, как и у всез западенцев которые считают, что только они могут задавать стандарты и создавать законы для всех.
>Ну вы же не знаете как и сколько европейские разработчики нарушают китайские привилаА вы знаете? Почему китайцы не говорят о таких случаях?
>У вас предвзятое отношение, как и у всез западенцевНу ясно.
>Ну вы же не знаете как и сколько европейские разработчики нарушают китайские привилаОни не смогут даже при всём желании. Ибо Великий Китайский Файрвол.
>но вот когда китайские разработчики нарушают европейские правилаПри чём здесь европейские правила? Китайцы поставляли откровенно узявимые приложения, напрямую в репозиторий операционной системы. Даже если допустить, что китайские программисты некомпитентны, и допустили их по незнанию, то это всё равно не отвечает на вопрос, почему уязвимости отказались править. Такое никому нельзя делать, ни европейцам, ни китайцам.
>У вас предвзятое отношениеПредвзятое отношение - это когда мейнтеров трудоустроенных в России удаляют. А это - вполне себе здравая защита от троянов.
> Предвзятое отношение - это когда мейнтеров трудоустроенных в России удаляют.Может на Западе считают, что они под принуждением некоторых госслужб могут сделать что-то нехорошее и поэтому подстраховываются? Возможно ли такое?
Это не весь список, это то, что официально заблокировано.
Там вообще тлен полный: https://habr.com/ru/companies/beget/articles/945228/
Так система образования в России по сути еще с 90-х евроцентричная, а культурка в виде книг, кино, музыки, картин и т.д тоже западная, а то что российское, такого уровня, что не хочется тратить время. Западофилия объяснима.
И такого:
https://www.opennet.dev/opennews/art.shtml?num=63677
>Т.е. американцам свои поделки без документации впаривать можноИм тоже нельзя.
>а китайцам - ни-ниОсобенно учитывая, что китайцы совсем не дорожат своей репутацией.
А типо еврочеловеки дорожат своей репутацией? После историй а-ля Crypto AG, пробирки Пауэла или доклада Сноудена заявление о том как еврочеловеки дорожать своей репуг у любого нормального человека не может вызвать иной реакции кроме гомерического хохота.
>А типо еврочеловеки дорожат своей репутацией?Китайцы дорожат ещё меньше.
https://habr.com/ru/news/652497/
>Это данные из исследования Trend Micro. Оно показало, что на многих китайских смартфонах, проданных в нашей стране, с завода установлены зловреды, включая троянский вирус, который позволяет третьим лицам удаленно подтверждать по СМС учетные данные при регистрации в разных сервисах.
>Trend Micro обозначило наиболее пострадавшие от вмешательства злоумышленников производителей и модели смартфонов. Это ZTE (Blade 3), MiOne (P1, R5, R3, Hero 5), Meizu (V8), Huawei (Mate 20 Pro, P9, P20 Pro, Honor (5X KIW-TL100 и другие). Эти бренды отказались комментировать эту ситуацию по запросу «Коммерсанта».https://habr.com/ru/articles/575626/
>TL;DR: немалое количество простых кнопочных телефонов, присутствующих в российских магазинах, содержат нежелательные недокументированные функции. Они могут совершать автоматическую отправку СМС-сообщений или выходить в интернет для передачи факта покупки и использования телефона (передавая IMEI телефона и IMSI SIM-карт). Встречаются модели со встроенным трояном, отправляющим платные СМС-сообщения на короткие номера, текст которого загружается с сервера, также бывают устройства с настоящим бэкдором, пересылающим входящие СМС-сообщения на сервер злоумышленников.Это уже не говоря про то, что китайцы не стесняются встраивать рекламу в прошивку телефона.
https://habr.com/ru/news/716484/
>Xiaomi систематически нарушает российское законодательство о рекламе, несанкционированно демонстрируя пользователям своих смартфонов вводящие в заблуждение объявления и зачастую перенаправляя их на фишинговые сайты.
>В частности, такую: «Президент обязал Газпром выплатить от 45 тыс. каждому». Это фейк, который дискредитирует главу государства и вводит в заблуждение пользователей, считает АППСИМ.И такое будет происходить ровно до тех пор, пока китайские устройства будет хоть кто-то брать.
> ни документации(хотябы на китайском), ни примеров, ни утилиты управленияТак в этом вся "фишка" китайских поделий, я вот почти ни разу не видел у них никакой внятной документации на английском, та и даже на китайском часто её нету.
Это полностью соответствует манифесту Agile, под эгидой которого пишется весь Open Source - работающий код важнее документации.
Теперь анекдот "А нужно ли компилировать второе ядро для двухъядерного процессора?" больше не анекдот.
Теперь хакеры после школы будут снимать видео "Как бесплатно увеличить ФПС. Просто добавь ядро" и "Прокачай свой ПК. Добавь ядро", а в мвидео вернут рекламный слоган "два ядра игровой".
ByteDance, технология запуска нескольких ядер без виртуализации конечно же очень интересна, но "кто-то", не вы, Тик-Ток на России совсем задеградировал.
Вот это правильно! Встроенный в ядро Великий Китайский Фаервол не может быть настоящим, если сделан не китайцами.