Брандт Букер (Brandt Bucher) из компании Microsoft, входящий в число core-разработчиков CPython и работающий команде, занимающейся увеличением производительности интерпретатора CPython, опубликовал реализацию JIT-компилятора для Python, использующую технику Copy-and-Patch. Публикация JIT приурочена к Рождеству и анонс написан в стихах...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=60352
> runtime-компоненты сводятся примерно к 300 вручную написанным строкам на языке Си и 3000 сгенерированным строкам кода на Си.Интересно, сколько дыр будет в этих 300 строках?
В ненаписанных 300 строках кода дыр точно не будет.
frama-c и не будет ни одной
Помнится Google все пыталась как-то ускорить Python, проекты делалЮ работников напрягал. Потом плюнули на это неблагодарное дело и создали Go. Теперь вот Microsoft что-то пытается сделать там, где это не особо легко by-design. Лично я жду mojo на посмотреть, что они там сделают.
Гугл никогда ничего не сделал за всю свою историю, так что не удивительно. Да и успехи мс с питоном всё наглядно демонстрируют.
ога, половина интернета в котором ты сидишь сделана гуглом, все так
>сделана гугломты видимо хотел сказать куплена гуглом, какое отношение убитых продуктов к живым там сейчас?
вообще, разработка софта там явно не в приоритете
>какое соотношение
Да? Они Apache/Nginx/PHP/MySQL/Postfix написали?
Нет, но гугл сделал ASP.NET MVC.
ASP net MVC amazon сделали же.
вот врете. это старая разработка фейсбука
А получилось только у фейсбука с PHP - HHVM. Но потом идеи затянули в PHP 7 и 8, и HHVM тоже стал не нужен.
Google сделал v8, так что ускорять они умеют. Ты говоришь про https://github.com/google-deepmind/s6 ? Ну есть numba в замену к нему.Более того есть другие технологии, тот же https://github.com/facebookincubator/cinder
В ядре питона уже поняли что нужно ускорять и занимаются этим, хотя пока до внедрения жита не дошло, но это в планах https://github.com/faster-cpython/ideas
Кстати, pyston на практике не так сильно повышает производительность в отличие от pypy
Что касается go, то это другой язык.
Потому что есть tradeoff между достигаемой скоростью и возможностью интеграции с любыми внешними окружениями.
Никого почему-то не смущает что все ML работает на таком медленном питоне. Возможности по интеграции могут быть гораздо важнее скорости числодробления (последним можно кстати заниматься на numpy и т.п. с такими же сишными скоростями)
А вот с js получилось прямо забавно. Ведь удалось достигнуть и правда запредельных результатов. А потом... потом они просто взяли и отдали свой сверх остный инструмент самым ущербным мартышкам. И что толку? Браузер всеравно тормозит ровно настолько, чтобы страницы хоть как-то открывались. Ничего бы и не изменилось будь в client side скриптинге медленный питон.
Только тут они написали говнокод и выйграли (заработали на этом), а в другом случае бы так не получилось.
Тоесть вы хотите сказать, что до появления js в вебе сайтов не было?
Или что если бы не было client side скриптинга сайты были бы хуже?
>Или что если бы не было client side скриптинга сайты были бы хуже?википедия была бы такой же,
а вот всякие магазины и другие онлайнбанкинги не существовали бы.
> всякие магазины и другие онлайнбанкинги не существовали бы.Это бред.
Во-первых контр пример: магазины существовали до засилья js в вебе.
Во-вторых: вы рассуждаете про отсутствие js полагая что без него браузеры не стали бы развиваться в сторону показа динамического контейнта. Это неверно, конечно они бы развивались дальше. Например показ пользователю вариантов дополнений введенного текста (например адреса) мог быть реализован стандартировано на уровне браузера специальным типом поля с указанием url куда отправлять ранее введенный текст для получения подсказки. Проверки правильности ввода - аналогично.
Веб мог быть гораздо более стандартизированным, понятным и управляемым если бы сиюминутные хотелки не победили. Но теперь его уже не удастся отрефакторить. Только бросить и сделать новый.
> все ML работает на таком медленном питонеНа питуне там только "бизнес логика". Буквально обёртки сишных/плюсовых функции типа "взять данные там", "передать данные туда", "сделать из этого конвейер", "посчитать".
Эсли бы бекенд этого добра был бы таки на питоне, то работало бы оно везде, с любыми видяхами и процами, только в миллион раз медленнее.
Вообще-то у Go корни древнее вашего этого питона. Гугли историю, в том числе plan9.Гуглу повезло что оказались под боком спецы которые пуд соли съели на создании языков программирования, в Go затащили все самые лучшие решения за их жизнь.
Гуглу это надо было чтоб заменить легаси на сях и плюсах.
И при этом "какой-то" пацан из универа, которому надоело кодить потом на С++ написал самый передовой язык программирования из всех, которые я знаю.Который гораздо лучше Go, хотя бы в обработке ошибок.
А знаю я около 20 языков программирования. И это первая и единственная реальная замена чистому С.
У Go есть своя ниша, наверное очень неплохой был язык для своего времени. Но garbage collection сразу определил его место в истории.
> Который гораздо лучше Go, хотя бы в обработке ошибок.ахахаха, знаете, да, что комитет плюсецкого рассматривает уход от исключений в сторону обработки ошибок аля Go? если бы вы хоть один(!) раз написали серьёзный многопоточный проект, то знали бы что не так с исключениями, их обработкой и раскруткой стека при многопоточной нагрузке, но вы не знаете)
Ты о чём вообще? Не осилил прочитать комментарий и бросился печатать ответ как увидел слово С++?При чём тут исключения?
В Zig вообще нет никаких исключений.
> если бы вы хоть один(!) раз написали серьёзный многопоточный проект, то знали бы что не так с исключениями, их обработкой и раскруткой стека при многопоточной нагрузке,С исключениями в многопоточных приложениях все точно также, как и с неисключениями в многопоточных приложениях... Дело в многопоточных приложениях, а не в исключениях.
В компиляторах/либах баги бывали, но вроде это фиксилось со временем. В mingw такой баг ~10 лет встречался. Примерно с 2009-го по 2018-й. Вообще, в 2010-м было пофикшено в апстриме mingw, но там смотря как именно mingw собирали и как часто тулчейн обновлялся. В Qt даже в 2018-м прям официально скачивалась версия с "глючным" mingw. А в ответе было "Qt не использует исключения, поэтому у нас всё работает... а вы страдайте ;)"
В виндовых сборках GLib/GTK аналогично получалось, но пофиксить удалось сильно быстрее.
>жду mojo на посмотреть, что они там сделают.Mojo уже можно смотреть и писать. Они всё выложили.
Да знаю я. У них даже онлайн среда есть для "попробовать" - https://playground.modular.com/
Но времени пока нет. В предыдущий раз как пробовал все было сыровата и в глубокой альфе.
Еще вопрос волнует - не сделают ли они при релизе платным mojo или с какими-либо ограничениями в бесплатной версии.
Вот тут статейка на Хабре подоспела по поводу сравнения производительности Mojo с С+++ библиотеками. Вывод: Mojo лучшим пока проигрыват, но не сильно (а чистый Python уделает как тузик грелку)
>При работе JIT в процессе выполнения программы осуществляется перебор созданных интерпретатором инструкций байткода и копирование для каждой инструкции заранее скомпилированного машинного кода в область памяти с исполняемым кодом, а также изменение на лету инструкций для подстановки в них обрабатываемых данных (JIT копирует готовые шаблоны уже скомпилированных функций и подставляет в них необходимые значения, такие как аргументы и константы). При загрузке объектных файлов также осуществляется копирование машинного кода в память и подстановка внешних символов.Стековая машина что-ли? Я писал jit-компищятор на основе техники copy and patch. Было quick and dirty. Кончилось тем, что я это выкинул и написал x86-специфичный аллокатор регистров + энкодер инструкций (constexpr функции!) + constant size структуру для хранения инструкций + двухпроходный компилятор + кучу кода в inline assembly для интеграции отжитенного кода в остальную программу - все функции, вызываемые из горячего цикла пришлось в виде ассемблера в программу всунуть.
Пoтому что сишный и плюсовый код норовили заюзать регистры, которые я заюзал в jitе, зарезервировать их оказалось невозможно ни в gcc, ни в шланге (register type varName asm ("regName") не резервирует регистр!), сохранять на стеке перед каждым вызовом ВСЕ РЕГИСТРЫ (потому что компиляторы не имеют интерфейса, чтобы им сообщить свою calling convention для каждой функции и/или блока кода отдельно) ОЧЕНЬ тормознуто, при этом компилеро-сгенерированный код (по подстановкам в asm-блоках, не буду же я регистры напрямую юзать, это неудобно) не гнушался портить %rbp, поэтому пришлось всунуть его в clobber-list, теперь компилер орёт, что это deprecated.
Все регистры пришлось сохранять ещё потому, что на максимальных флагах защиты от всех микроархитектурных уязвимостей компилер всё нулил при выходе из функции, не анализируя, откуда функция вызывается. Ещё очень неудобно вызывать функции из асм-кода. Приходртся самому всё класть на стэк. Изменяется прототип - всё насмарку, уследить за этим трудно. Зато у меня одна из самых быстрых программ. К сожалению пока неопубликована. У меня есть кое-какие идеи как этот джит выкинуть, сгенерировав экспоненциально много (а для этого нужно будет произвести большой поиск в графе состояний ветвями и границами, при этом результат гарантированно даст не очень большой показатель экспоненты, так что будет feasible) функций силами компилятора, шаблонов, constexpr и хардкода, а потом выбрав нужную. Если покажет производительрость наравне или выше джита - вообще джит выкину. Тогда и зарелижу.
Ты =очень= крутой, аноним.Но пользоваться твоей программой я, конечно, не буду.
А никто и не заставляет :). Кушайте Растишку.
Чем больше я понимаю ЯП и учу Схему, тем больше пишу на баше.
И я не крутой. Я просто перфекционист.
Я так понимаю, если тебя вовремя не остановить, ты дойдёшь до того, что всю computationslly-heavy функциональность запихнёшь в fpga'шку.
> Я так понимаю, если тебя вовремя не остановить, ты дойдёшь до того, что всю computationslly-heavy функциональность запихнёшь в fpga'шку.Чот вот это не пахнет даже минимизацией и переводом в базис FPGA-шкинскиких LU: "сгенерировав экспоненциально много функций силами компилятора"
> Ты =очень= крутой, аноним.
> Но пользоваться твоей программой я, конечно, не буду.Если она есть вообще.
а что делает твой софт?
Когда доделаю - на опеннете может появиться анонс. А пока - "ничего".
Приз за лучший "Коммент Года 2023"!
Тогда подождём. А пока - "НЕ НУЖНО".
"На словах я Лев Толстой, а не деле..."
Всё как обычно)
>сохранять на стекеВообще сохранять на стеке очень тормознуто, горячий обрамляющий цикл сделан так, что стэк код вообще редко трогает и оптимизирован с помощью llvm-mca. Отjitенный код стек вообще не трогает, переходы туда и обратно jmpами, все аргументы в регистрах.
И как оно работает в многопотоке?
Отлично.
Судя по описанию, вами была проделана впечатляющая работа. Но у меня, после прочитанного, создалось впечатление, что проще было бы критичное по скорости ядро "движка" сразу писать на ассемблере, а на всем остальном делать только высокоуровневую обвязку.
Не, clang генерит быстрый код, когда часть из входных данных захардкодожена.
Это та самая борьба с компилятором, которую вылечили в расте?
Выглядит очень интересно, как минимум много умных услов)А что за проект? Язык программирования? Что он вообще делает?
Хобби? Работа? Наука?
Публикации есть?Я в этом не силён. Но Zig позволяет тебе выбирать calling convention для каждой функции.
callconv(WINAPI)
callconv(.Inline)
callconv(.Naked)
callconv(.C)Наверное ещё что-то. Много оптимизаций встроено в язык.
Писать compile time код - это просто песня. Generic код тоже.
Есть ассемблерные вставки в языке (из коробки).
Можно вызывать С код и С++.
Можно даже С++ код компилировать компилятором Zig! Те просто берёшь и компилируешь свой С++, а потом добавляешь Zig потихоньку. Переписывать всё не нужно.Для твоей задач подходит идеально.
Быстрее чем на Zig уже не будет.
>Но Zig позволяет тебе выбирать calling convention для каждой функции.Да де-факто стандартные расширения сишки тоже позволяют, но из приведённого вами списка. При этом компилятор сгенерирует ненужные перебросы из одних регистров в другие с сохранениями состояния caller-saved на стеке. Мой код же стека касается в редких случаях - когда нужно выделить память. Тогда уже гулять-так гулять. Остальная свистопляска идёт в регистрах и кэше.
Стек типо в кеше не присутствует?
Присутствует, так как иногда приходится дёргать. Но основные обращения к памяти - это считывание данных и запись результатов.
> ненужные перебросы из одних регистров в другие с сохранениями состояния caller-saved на стеке.Если такое есть без причины - то это копулятор лучше чинить.. Это же его сфера ответственности!
У компилятора есть причины её не инлайнить - она виртуальная. Остаётся thiscallом её вызывать. А thiscall - это конкретная конвенция, а поддержки кастомных конвенций увы нет.
Ускоряют питон, а он все не ускоряется
Кто сказал, что ускоряют?
"а в среднем отстал по производительности на 35%,"
https://opennet.ru/59641-python
JIT - это лишние тормоза, считай полумеры.
Так бы и написали что компиляцию в нативный код не осилили, ибо из за динамической типизации все равно фигня с производительностью.
JIT потенциально обладает преимуществом перед обычной компиляцией. Вот есть у тебя куча ветвлений switch-case в коде, профилировщик собирает статистику и на основе этого компилирует код так, чтобы первыми проверялись самые частые case'ы.
Это, к слову, также положено в основу PGO.
Ты с if/else не попутал?switch/case выстраивает jump table, там похер в каком порядке идут значения
Семантически switch-case и if-else одинаковы, современные компиляторы их разворачивают в одинаковые инструкции 100%. Это раньше могли быть приколы вида того, что for(;;) и while(true) преобразовались в разные ассемблерных инструкции.
Вы путаете обычный switch и switch с паттерн матчингом. Для обычного свитча компилятор собирает lookup табличку, в которой jmp на нужную ветку идёт даже без cmp инструкций. А вот паттерн матчинг разворачивается в обычные if со всеми вытекающими
Это исключительно зависит от конкретного ЯП.
Что там будет вкомпилировпнно и или выполненно в итоге.
Ифы тоже можно в jmp развернуть.Bottle выше правильно пишет. Это одно и то же в разной записи.
Что ты, блин, несёшь? Ты сам то проверял? Ничего там не одинаково.
Это если у тебя switch по перечисляемому+упорядочиваемому типу, и если используется непрерывный диапазон значений этого типа. Попробуй создать джамптабличку для:switch(n) {
case 1: ...;
case 2: ...;
case 3: ...;
case 5: ...;
case 8: ...;
case 13: ...;
...
case fib(n): ...; // это на случай если твоя недопёрла как посчитать остальные константы
...
default: ...;
}Я б рекомендовал иногда заглядывать в вывод gcc -S, чтобы понимать, какой код он генерирует. Какой смысл вообще знать про джамптаблицы, если ты не знаешь как высокоуровневый код превращается в низкоуровневый?
Для первого куска делаешь таблицу с null-дырками, для второго обычное дерево или вообще линейный поиск если case-ов мало. А как оно будет на самом деле зависит от компилятора, так-то некоторые и эквивалентный каскад из if-ов умеют в таблицу упаковывать.
Умница дочка!Теперь ты можешь ещё раз похвастаться беспримерными своими познаниями, сделав следующий шаг, объяснив тому анониму с его верой в джамптейблы, как ко всему что ты описываешь применимы JIT и PGO оптимизации.
JIT жрёт память и добавляет внезапные лаги. Так что лучше иметь стабильный по задержкам, но чуть менее производительный код, чем JIT со всеми его минусами. Ну или иметь возможность включать JIT только для определённых функций/модуля
> JIT жрёт память и добавляет внезапные лаги. Так что лучше иметь стабильный
> по задержкам, но чуть менее производительный код, чем JIT со всеми
> его минусами. Ну или иметь возможность включать JIT только для определённых
> функций/модуляВроде как в нормальных компиляторах jit не всегда задействуется. Там несколько этапов от простого интерпретатора байткода до полноценного jit. В зависимости от статистики происходит переключение между ними. По крайней мере так сделано в v8 и так планируют делать в python
Лучше только в системах реального времени.
А вообще, нет, не лучше.И нормальный джит отрабатывает один раз, после чего все летает без всяких задержек.
Пример жава и дотнет. Особенно последний, потому как оно в ровень с нативным кодом может.
> Лучше только в системах реального времени.
> А вообще, нет, не лучше.
> И нормальный джит отрабатывает один раз, после чего все летает без всяких
> задержек.
> Пример жава и дотнет. Особенно последний, потому как оно в ровень с
> нативным кодом может.Особенно это видно на тормозящих играх на unity
Что угодно на чём угодно может тормозить. По самым разным причинам.
Но тут по вполне конкретным причинам, которых нет у других ЯП. Например, из-за GC. Хотя может и из-за JIT тоже. В итоге никакого 'в ровень' не получается.
> Но тут по вполне конкретным причинам, которых нет у других ЯП. Например,
> из-за GC. Хотя может и из-за JIT тоже. В итоге никакого
> 'в ровень' не получается.GC в ЯП никаких нет.
Получается не только лишь в ровень, если руки прямые.
Но никогда не будет с дотнетом и шарпом в ровень идти хоть сишка хоть сипипишка которая туже сложность со всеми необходимыми проверками и защитами реализует.
> Получается не только лишь в ровень, если руки прямые - настлько древняя мантра, что в 2023 даже уже не смешно
Лучше, например, в питоне, он тормозит равномерно. И в компилируемых ЯП вроде с++
В Питоне глобальный лок всё ещё никуда не делся.
То как тормозит питон математикой не описать, нужно индусов звать танец танцевать.
Есть, так не трогай его. Основная часть питонячего кода это однопоточные приложения. И пишу же про равномерность торможения, а не про просто торможение. Например, в тестах сервис длительно показывает хорошие персентили по задржкам, а в проде спустя большой uptime внезапно просаживается условный 99-ый ... потому что что-то потекло и GC зафрагментировал память и начал лютовать когда ему вздумается. В стандартном питоне такого нет. В Java и JS постоянно, особенно это хорошо заметно по браузерам.
В теории, если считать скорость постоянной перекопиляции пренебрежимо мала, то есть когда задержка не заметна, и раздражает пользователя.
А для пользователя не нативное приложение - неполноценное приложение.
Ведь никто в здравом уме не поставит что то типа VsCode по умолчанию вместо нотепада как редактор по умолчанию.Исключения есть, например когда приложение например на Яве и стартует мгновенно, и работает быстро, и неискушенный пользователь ничего не замечает. Но, это и редкость, и обычно небольшие программы.
> Так бы и написали что компиляцию в нативный код не осилили, ибо из за динамической типизации все равно фигня с производительностью.В будущем сделают компиляцию в машинный код с помощью нейросетей. А так как ресурсов для запуска такого компилятора локально ни у кого е будет, она будет облачной.
> В будущем сделают компиляцию в машинный код с помощью нейросетей.Пока сподобятся, с этим справится процессор от уного чайника, или рак на горе свиснет.
> как ресурсов для запуска такого компилятора локально ни у кого не будет
Ресурсов достаточно и сейчас, но у кого то компиляция чего то рпзмером с Хрлма займет минуты, у кого то пол-дня, и более.
Но, если например у игрушки от компиляции в нативный код fps возрастет хотя бы вдвое, то есть смысл даже в компилчции на бюджетном сиартфоне. Да пусть он хоть три дня пыхтит, играть то поболее придется.Кстати, вменяемые смартфоны сейчас уже быстрые. Как что то на Расбери компилировать, так можно, не смотря что по сравнению со смартфоном по производительности он просто вонючка.
К тому же, перекомпилировать всем не обязательно, это ж на случай когда готового нативного бинарника негде скачать.
>> будет облачной.
Не будет, ибо и не выгодно, и на быстром компе тупо быстрее переаомпилировать самому, чем закачать и выкачать.
А вот репозитории, это да, им компилировать обновляемое ПО в нативные бинарникпи, самое то.
Фигня с производительностью не от динамической типизации там от слова совсем.
> Фигня с производительностью не от динамической типизации там от слова совсем.От чего же?
> Фигня с производительностью не от динамической типизацииВозможно, есть и другие причины, но невозможность на этапе компиляции сгенерировать код, и необходимость напрасно тратить ресурсы при выполнении, на быстродействии скажется негативно.
В тех же Java и C#, код без дергатни памяти, то есть в критичных местах, получается очень быстрый без плясок с бубнамм, хотя там и нативного кода в полноценном смысле вовсе нет. И вполне логично подумать именно на типизацию в Питоне.
Ну вот и думают.
Аннотацию типов добавили уже давно. Очень удобно. Осталось оптимизацию кода сделать который тайпчекается.И я не в курсе что там у них с автовыводом типов.
В Ракете прикольно сделали типизированную версию.
То есть питон сейчас стал в 100 раз быстрее?
В 100 раз быстрее jit генерация байткда, само исполнение стало быстрее на десятки процентов в лучшем случае.
> То есть питон сейчас стал в 100 раз быстрее?Нет, его отдельные операции стали быстрее, а в целом скорость примерно как была.
Ведь если похерить хотя бы динамическую типизацию, что сильно ускорит, но так тогда это и будет уже Питон.
Сделать транслятор типа TypePython с подсказками о типах для AST.
Mypyc
> и анонс написан в стихаха маска на презентации скучная не кожаная
> примечателен очень высокой скоростью генерации кодаВ питоне быстрая генерация кода - это самое главное. Те, кому надо, чтобы код быстро работал, обходят питон стороной.
... и направляются прямиком к Cython.
Реально кстати, у cython производительность 1 в 1 с си, при этом, оно выглядит как питон, и прозрачно интегрируется с питоном.
cython.org:
> The Cython language is a superset of the Python language that additionally supports calling C functions and declaring C types on variables and class attributesТак это си знать надо.
> Те, кому надо, чтобы код быстро работал, обходят питон сторонойтолько ты об этом ничего не знаешь, так как не имеешь отношения ни тем, ни к другим
>Реализация JIT требует в качестве зависимости LLVM на этапе сборкиОригинальный интерпретатор CPython, в том числе, тем и хорош, что никак не связан с LLVM и полностью автономный.
Кто прояснит — этот copy and patch чем-то отличается от AOT компиляции или это совсем что-то другое и я не в ту степь?
Блин, как я сюда попал сборище каких то диванные критиков, у python минус такой минус сякой да он и медленный и проще сделать так да сяк .... :DD ну елы палы что за сборище ламеров, которые повторяют пойнты, которые были актуальны наверное в 90х для python 2, и нулевых ... просто рука лицо почти с каждого сообщения
> Блин, как я сюда попал сборище каких то диванные критиков, у python
> минус такой минус сякой да он и медленный и проще сделать
> так да сяк .... :DD ну елы палы что за
> сборище ламеров, которые повторяют пойнты, которые были актуальны наверное в 90х
> для python 2, и нулевых ... просто рука лицо почти с
> каждого сообщенияПотому что ничего не меняется сильно по скорости и потреблению памяти.
Фото на гитхабе у него забавное
Как оно будет работать при "monkey patching"?
JIT - дыра в безопасности которую M$ хотят вкорячить в питон.JIT на безопасных платформах работать не будет никогда.
JIT - зло которое надо искоренять!