Опубликованы результаты сканирования пакетов в репозитории PyPI (Python Package Index) на предмет наличия забытых в коде ключей доступа к Amazon Web Services (AWS). Провести проверку побудил прошлогодний инцидент с утечкой AWS-ключей компании InfoSys. Как оказалось случай не единичный и в коде представленных в PyPi пакетов удалось выявить ещё 57 действующих ключей, которые присутствовали среди прочего в проектах таких крупных компаний, как Amazon, Intel, Terradata, General Atomics, Top Glove и Delta Lake, а также в репозиториях австралийского правительства и университетов Сендфорда, Портланда и Луизианы...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=58446
А в чём суть проблемы, собственно? Так много написано и не написано главного.
В ненавязчивой рекламе shitgrep, написанного на хрусте.Обычный-то, дидовский, ну никак бы не подошел.
А из-за --multiline из дедовского без костылей подошёл бы только pcregrep.Ну и на всём объёме PyPI разность в скоростях грепа уже начинает быть заметной.
Ну конечно ж ты найдешь кучу ключей (даже не среди активных 57, а включая 57000 тех похожих строчек что не подошли к aws, но были найдены в коде) написанных в две строки. В питон-коде это особенно часто принято. Ой, только вот в их регексе это почему-то не учтено.> Ну и на всём объёме PyPI разность в скоростях грепа уже начинает быть заметной.
нет (даже если разница существует не только в фантазиях хрустиков). потому что совершенно все равно, выполняется ли _одноразовая_ операция час или четыре.
> Ой, только вот в их регексе это почему-то не учтено.Полный регексп, который ты, как выяснилось, и не читал, и тот гораздо легче воспринимается, чем первая половина твоего коммента, который выглядит так, будто за меня уже ещё кучу всего додумали. А потом ты удивляешься, чего это тебе ересь всякую в комментах отвечают.
> совершенно все равно, выполняется ли _одноразовая_ операция час или четыре.
Она одноразовая до тех пор, пока ты не захочешь эту регулярку дописать, а это желание непременно возникнет только потому, что никто веб-ма... ээээ, джуниоров не бьёт палкой по рукам с целью заставить их палить ключи Единственно Правильным И Заведомо Известным Способом. А весь PyPI, который грепался — это более десятка терабайт *гзипнутых* данных. Один час тут только займёт чтение в никуда без распаковки, при условии, что есть хранилище, которое может насытить PCI-E 4.0 ×16. Помножь на коэффициент сжатия, на накладные расходы грепа, и вот одна итерация как-бы-одноразовой-но-как-бы-и-не-совсем задачи уже приближается к суткам. Удобноооо, аж жуть!
Как там бузинесс по выгулу собак, не релоцировался ещё?
> совершенно все равно, выполняется ли _одноразовая_ операция час или четыреБоже, что он несёт… Медленнее, ребятки, лучше, чем быстрее. Такие дела.
Ripgrep превосходная утилита, эффективная и фичастая. А на язык пофиг, не веди себя как свин.
На трёхнедельных курсах будущим питонокодерам ничего не говорят о удалении каких-то там ключей из кода перед его публикацией.
Такие ошибки допускают в основном корпоративные кодеры, у них там и секреты плейнтекстом в ps светить норм. Это никакого отношения к квалификации кадров не имеет, скорее говорит о культуре.
> Такие ошибки допускают в основном корпоративные кодерыпотому что у тебя, ванька, нет денег ни на какие aws instances.
Да и забанен ты там давно.
Нет ключа, нечего прогадить, логично.
>секреты плейнтекстом в ps светить норм
>никакого отношения к квалификации кадров не имеетприкольно
> никакого отношения к квалификации кадров не имеетЖалкая попытка выгораживания гуманитариев-самоучек. Хотя, в IT давно не видать специалистов с профильным высшим образованием (оборонка и гос. структуры не в счёт).
Только речь идёт о высокооплачиваемых специалистах с вполне себе образованием и прошедших отбор, в основном у них такая лажа случается. Такие люди считают, что они лучше знают, что можно делать, и что нельзя, и в итоге творят всякую дичь.
Высокая зарплата не означает, что человек является специалистом. Я работаю в оборонном предприятии инженером, моя квалификация, и та работа, которую я проделываю (в плане полезности), даже близко не стоит рядом со всякими игроделами, вэб-"разработчиками" и т.д., но зарплата у меня меньше раза в четыре, чем у моего сына, который работает в торговой сети региональным менеджером, имея 9 классов образования + незаконченное ПТУ, но имеет подвешенный язык, общительный и "пробивной".
> та работа, которую я проделываю (в плане полезности), даже близко не стоит рядом со всякими игроделамиСамокритика - это всегда похвально.
> прошедших отборПо умению расфуфыривать хвост.
>> прошедших отбор
> По умению расфуфыривать хвост.тебя опять не взяли? То ли дело в подвальчик, там в темноте даже и не видно, есть у тебя хвост или нет вовсе.
Бывало. Но осадочек остался.
Для манки-кодинга ШЕСТЬ гребаных лет жить в общаге на мамины деньги и подрабатывать свободная-касса?
(и потом не найти работу, потому что с опытом написания курсовиков не берут никуда кроме как в "оборонка и госструктуры", причем там и там на зарплату в 16 тыщ)Когда яндекс или, не к ночи будь помянут, шитбокс какой обещают войтивойти всего за пол-года и можно уже бежать наниматься на галеру?
Кодерам правильно говорят на курсах, что все эти ключи одноразовые. Спрашивать надо с того, кто писал и применял полиси.
Угу, именно поэтом они вбивают их в код, и при попытке поменять ключ - "ой, прод упал, срочно верните все как было и объяснительные со всего отдела чтоб через час мне на стол!"
Ну если прямо-таки прод упал из-за такой ерунды, то ничего не попишешь, придётся меня нанимать чтобы процессы чинить. Такую очевидную лажу пайплайн на мерже в devel должен ловить, раз уж код ревью с перепою делается. На худой конец, stage должен упасть. От херак-херак и в продакшен другой защиты не придумали.
> придётся меня нанимать чтобы процессы чинить
> присутствовали среди прочего в проектах таких крупных компаний, как Amazon, Intel, Terradata,
> General Atomics, Top Glove и Delta Lakeиди, расскажи им, что тебя срочно надо нанять и ты всепачинишь.
А то пока у тебя кончились все деньги и туалетная бумага.
А код с ключами может даже и не исправил никто до сих пор - эти вот ребята отправили предупреждение на мэйл который принадлежит давно уволившейся обезьянке.
Обычный типовой PyPI'ц, уже как-то можно даже новостей из этого и не делать, приелось.
Ну мы же знаем, какие васяны на этом пишут))
Хорошо, что в cargo ничего подобного нет и никогда не будет, ибо это принципиально невозможно, благодаря безопасности.
А усишки нету пакетного менеджера потому такая ситуация вобще невообразима
> у сишки нету пакетного менеджераПоэтому этот язык - отдушина для немногих оставшихся IT специалистов-инженеров с профильным образованием, которые разрабатывают программное обеспечение для кретических объектов инфраструктуры и оборонной промышленности. Лично я, как инженер с ещё советским профильным образованием, просто на дух не переношу все эти смузи-технологии для детишек в обтянутых штанишках с розовыми волосами.
> специалистов-инженеров с профильным образованием, которые разрабатывают программное обеспечение для кретических объектов инфраструктуры и оборонной промышленности.Да будет самопровозглашенному инженеру известно, что критические объекты инфраструктуры и оборонной промышленности уже лет 40 как не пишутся на убогом С. В этих областях Ada и SPARK.
У "оставшихся" в известной перде инженеров нет никакой ады - во-первых, потому что еще двадцать лет она показала свою малопригодность для разработки и была всеми забыта, кроме немногих уже тогда замшелых дедов. (Которым вполне удалось угробить ракету - оказалось, волшебный язык не помогает от этого никак. Только мешает писать код и усложняет тесты.)А во-вторых потому что у них там - фортран. Другого компилятора для M1 не написали, видать.
А у crew dragon управление на ведроидах. Ну да, дерьмо. Зато много.
у вас явно какая-то особая боль с профильным образованием
Это у него от осознания бесполезности этого образования через год лет после получения. И от той боли пониже спины, которую испытывают дипломированные специалисты, когда понимают, что пять лет практического опыта ценятся при найме выше, чем диплом с отличием, и они просто профукали пять лет вникуда.
> бесполезности этого образованияКогда задумаешься, а что сделали те тонны выпускников "институтов математики и информационных технологий"? А ничего.
Теперь MS завезёт на GitHub трёхфакторную авторизацию?
Трёхфазную.
к стулу авторов контента