Исследовательская группа METR (Model Evaluation & Threat Research) опубликовала результаты эксперимента по оценке эффективности применения AI-инструментов для написания кода. Вопреки ожиданиям, исследование показало, что AI-помощники не ускоряют, а замедляют решение поставленных задач, при том, что субъективно участники эксперимента считали, что AI ускорил их работу...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=63573
Вайбкодеры, ваши оправдания?
За зарплату любой способ схалтурить хорош.
> при использовании AI-инструментов разработчики тратят меньше времени на... чтение документацииВся суть. Тяп-ляп и наброс кода.
Смотря кто это использует.
Это просто инструмент, и если у тебя мало опыта, то сгенерированных ошибок ты и не заметишь.
А если уже опытный, то всё же помощь от них есть:
https://visualstudio.microsoft.com/ru/
> А если уже опытный, то всё же помощь от них естьТо есть вы буквально игнорируете новость? Ещё раз: опытным разработчикам нейросети _не_ помогают, а замедляют разработку.
Посмотрите последний абзац.
Опрос != исследование. Прочитайте:> Вопреки ожиданиям, исследование показало, что AI-помощники не ускоряют, а замедляют решение поставленных задач, при том, что субъективно участники эксперимента считали, что AI ускорил их работу.
Субъективное мнение не является объективными данными.
>В ходе эксперимента 16 разработчикам открытых проектов
>можно отметить опрос 609 разработчиковГде будет более объективно ?
Прочитайте остальную новость, там написано где.
Интернет опрос показал что интернетом пользуется 100% опрошенных.(С)Ну и "говорят" vs "взяли и измерили".
Про деда Макара анекдот помнишь? :) Вот и ты - ускорился :)
А если уже опытный - то заманаешься исправлять, быстрее написать самому.
Наброс кода на вентилятор.
Наброс AI на вентилятор :)
Немного не так. Тяп-ляп и на прод.
вжух и в продакшн
<s>Let's see Paul Allen's card[/strike</s>Давайте теперь посмотрим на исследование OpenAI, Microsoft и Google.
нвидию забыл, они лучше всех знают насколько полезны и достоверны исследования OpenAI, Microsoft и Google
Кстати, на самом деле знают. Своей капитализацией и долей в сфере ИИ клянутся.
Есть Mistral:
https://www.opennet.dev/opennews/art.shtml?num=63286
Полностью соответствует моему личному опыту, а я даже не программист писатель ямлов.
Какие модели вы использовали для личного опыта? Я не обвиняю вас, но очень часто оказывается, что люди, которые "разочарованы" в LLM, на самом деле использовали только бесплатную версию ChatGPT где доступны только 4o (ограниченно) и 4o mini. И эти модели очень далеки от текущего "топа" 2.5 Pro/o3/Opus 4. Если не хочется тратить деньги на платные подписки, можно использовать Gemini 2.5 Pro без оплаты в https://aistudio.google.com/prompts/new_chat, правда тогда ваши чаты могут использоваться Google для разных задач (поэтому и бесплатно).
Люди судят, в лучшем случае, по 4o-mini, и она часто тупит. При этом, o4-mini обладает тем же набором знаний, и промахивается не в пример реже. И всё это лучше "полных версий" конкурентов, гугловские вообще смешные с их то ресурсами.
Gemini 2.5 Pro (от Google) и Sonnet/Opus 4 (Anthropic) напрямую конкурирует с o3, не знаю, о чём вы говорите.
О, пошла борьба адептов. ))
Лучше бы рассказали про опенсорсные модели.
И кстати специализированные модели должны быть лучше.
они заметно отстают сейчас. Надо ждать новое поколение.
Как использовать платные модели из подсанкционной?
> Как использовать платные модели из подсанкционной?чемодан, вокзал, Талдыкорган (потренируйся выговаривать, пригодится) ну или хоть вообще Караганда, только там дороже.
Визу настоящую дадут, шмот с ебея будешь как белый человек заказывать, ну и попутно оформишь на себя филиальчик своей конторы. Все так делают.
Сейчас у них даже интернет наладился.
> Давайте теперь посмотрим на исследование OpenAI, Microsoft и Google.В исследовании исследователь и спонсор исследования не должен быть заинтересованным лицом. Иначе такое исследование в приличных и научных кругах не принимается.
Максим не ценит и удаляет мои тонкие короткие остроты, придётся расписывать.Серьёзные исследования всегда кем-то спонсируются, и результаты этих исследований всегда ангажированы в пользу спонсора, юридически это может быть проведено через тучу НКО, ООО, Gmbh, и прочей шушеры, но результат всегда будет нужным.
Опеннет это не следствие, я сомневаюсь, что хотя бы 10% многоуважемых анонов кликнуло на ссылку, не то что ознакомилось с пидифэкой.
Поэтому будут заказаны новые исследования, которые найдут ошибку в старых и окажется, что АИ бустит продуктивность. Спонсором будет ооо "рога и копыта". И опеннет это съест, поэтому повторю - делайте скидку на то, где вы находитесь и на то, кто и как выделяет деньги учёным.
> Серьёзные исследования всегда кем-то спонсируютсяОшибка считать что за каждым исследованием стоит заказчик конкретного и удобного ему результата. Я хоть и плохо учился в аспирантуре, но видел гениев, которые писали статьи и исследования. И делали они это на гранты. А гранты выдавали за вклад в науку в целом, а не как вы думаете.
Поэтому, вполне могут существовать и быть оплачены независимые исследования. Более того, гранты и специальные стипендии могут начислять постфактум, уже после публикации. Опять же, не за конкретную работу, а за общий вклад и накопленные баллы.
Ну и много в сети из них публикуются(т.б.им даром)?...
>И делали они это на гранты. А гранты выдавали за вклад в науку в целомВот здесь у вас логическое противоречие.
> Максим не ценит и удаляет мои тонкие короткие остроты, придётся расписывать.
> Серьёзные исследования всегда кем-то спонсируются, и результаты этих исследований всегдаэто только в РФ. Потому что вне ее еще осталось понятие репутации.
Серьезные исследования как раз всегда спонсируются теми, кому интересно узнать _результат_, причем в качестве ценного вклада в ноуку - не обязательно, возможно их интересует, туда ли они вложили деньги, а не получить рекламный буклетик. Причем вторым уважающий себя исследователь - побрезгует. Потому что его и так неплохо кормят.
>> это только в РФ. Потому что вне ее еще осталось понятие репутации.Мне это весьма интересно - о каких странах идёт речь? И ещё, если не секрет - молодой?
Вообще-то я хотел поставить ему минус а не плюс. Пальцы толстые, а поменять нельзя
> сомневаюсь, что хотя бы 10% многоуважемых анонов кликнуло на ссылкуНу и конечно, многоуважаемый Сэр, Вы развёрнуто расскажите нам..., вернее - приведёте ясные доводы конкретно по этому исследованию, почему Вы считаете конкретно это исследование проплаченным в пользу того результата, который мы читаем в новости?
То что, это вряд ли проплаченно - не означает что, все или хотя бы большинство - не проплаченны(так или иначе). Про что и была ведь речь.В любом случае рассматриваемые проблемы явно временные. Например, тот же перевод уже на не плохом уровне.
/мимопроходил
Тот факт, что вам платят, ещё не означает, что вас купили. Обратное, впрочем, тоже справедливо. Неизменным остаётся одно: продажной душонке везде покупатели мерещатся.
Ну, то есть, Вы приведёте обоснование, почему Вы так считаете. Не абстрактное "это исследование с заранее известным результатом потому, что за него кто-то заплатил, если кто-то заплатил, то значит результат ангажирован...", а конкретные признаки ангажированности, может быть факты, может кто-нибудь из участников исследования был ранее замечен в подобном, или может укажите на торчащие уши выгодополучателя. Что с этим исследованием не так? То, что за него кто-то заплатил?
Исследование интересное, но надеюсь что люди не будут принимать ранних выводов, а прочитают точнее:
- Выбрали очень опытных опен-сорс разработчиков, которые выполняли issues в репозиториях, где они сделали тысячи коммитов, т.е. они очень-очень хорошо знают свою кодовую базу. То есть возможно, что в кодовых базах, где человек сам хорошо не разбирается, модели будут лучше. Или если сам человек не является опытным разработчиком.
- Сами разработчики посчитали, что выполнили задачи быстрее. Мне кажется, это исходит из того, что они потратили меньше своих ментальных ресурсов на выполнение задач. И, пусть они потратили больше времени, если они меньше устали - это очень хорошо.
- Исследование было в феврале, и с каждым месяцом выходят новые модели. В феврале не было Claude 4, Gemini 2.5 Pro, o3 в API, и так далее.
> То есть возможно, что в кодовых базах, где человек сам хорошо не разбирается, модели будут лучше.Не будут. Новость перечитайте – нейросети пишут фигню, человек должен тратить время и реально разбираться в коде чтобы эту фигню превратить в нормальный код.
В этой связи вопрос: стоит ли выбирать между "плохо" и "плохо"? Или может стоит дать человеку время разобраться?
> Или если сам человек не является опытным разработчиком.То и отфильтровать нейросетевой бред он не сможет. А если будет тыкать в нейронку и не читать документацию, как специалист не вырастит никогда. Критичный взгляд и архитектурные навыки у такого "специалиста" отсутствуют.
Ещё так в исходниках или сразу бинарнике - зловред удобно подсовывать [для распространения другим]...
Хочу добавить, из исследования насчёт опыта разработчиков:
> Developers average 5 years experience and 1,500 commits on repositories
> Repositories average 10 years old with >1,100,000 lines of codeЭто далеко не "средние" и стандартные проекты.
И в качестве моделей они использовали в основном Claude 3.5/3.7:
> When AI tools are allowed, developers primarily use Cursor Pro, a popular code editor, and Claude 3.5/3.7 Sonnet.
Тут о «средних» проектах речь и не идёт. Язык подучи.
> но надеюсь что люди не будут принимать ранних выводов35 минут на одну лемму, делай выводы :)
//www.youtube.com/watch?v=cyyR7j2ChCI
>Исследование интересное, но надеюсь что люди не будут принимать ранних выводовЗнакомые речи оправдания )
Почему разработчики а не программисты? Они что месторождение золота разрабатывают? опен-сорс разработчиков э отрытоисточниковых разработчиков? Выполняли issues и сделали тысячи коммитов это как сделали мой день?> - Сами разработчики посчитали, что выполнили задачи быстрее. Мне кажется, это исходит из того, что они потратили меньше своих ментальных ресурсов на выполнение задач.
Если кажется, то крестится надо. Зачем выдумывать того чего не написано?
> И, пусть они потратили больше времени, если они меньше устали - это очень хорошо.
Странное заявление. Может в таком случае лучше перейти на четырёхдневную рабочую неделю или сократить рабочий день до 4 часов если не для всех, то хотя бы для тех у кого много стажа? Также капиталисты хотят опытных пролов в том числа из–за того что они как правило работают быстрее а тут как бы предлагается пролам меньше работать а больше заниматься какими–то косвенными вещами чтобы они меньше уставали, но в то же время выполняли меньше действительной работы.
А вы хороши выкручиваться.А по факту люди с экспертизой видят что им модельки мешают, а вот неопытные даже не поймут что они мусор льют в товарных количествах.
Чатгпт хорошо пишет код на awk, вообще можно не тратить время на эту чушь. Правда, приходится 5 раз указать на ошибки и несоответствие ТЗ, но экономия времени примерно половина в итоге и не надо забивать голову чтением бесполезных мануалов по авк. А так, надо просто понимать, что оно сделать может, и формулировать условия определённым образом.Все остальные "помощники" никуда не годятся.
Copilot ? Это кастом от MS на базе ChatGPT.
https://code.visualstudio.com
> Оценка эффективности применения AI-инструментов выявила замедление,
> а не ускорение разработкиПодтверждаю! Пробовал как-то кекс от рефакторить кус питона. Пилять, AI его всякими дебрями водил, водил, водил, водил. Результат скрипел, чихал, фыркал, глючил. После 100500 уточнений, он, конечно, родил, но за это время можно было 2 раза лапками переписать вот это все, на чем там кому хочется.
А еще от AI просто тупеют. Как вон тут вася в соседней новости, списывающий задания. Интересно в чем прикол - обучать нейросетку вместо себя? :)
Какую модель/инструмент вы использовали?
Да не трясись ты так. Если хочешь быть подстилкой корпораций и писать быстро чтобы извлечь им максимальную прибыль в ущерб качеству и в ущерб собственному развитию – пожалуйста, дело твоё. Только не тряслись потом когда окажется что без нейросети не сможешь кодить в принципе.
Существует много отличных open-weight моделей, например Deepseek R1, Kimi K2, и так далее. Я задал простой вопрос, а вы сразу перешли на оскорбления вместо ответа? Это больше говорит о вам самом, чем о моделях.
Я другой аноним. Прошу прощения что влез в нить разговора и тем самым перепутал его.
Я пробовал Deepseek с рассуждениями. Порой и он код глотает и пропускает важные моменты.
DeepSeek лажа как и Gemini и ChatGPT и Claude - мне везет на узкоспециализированные вопросы по C++ и Python :) Ответы на них есть, но найти их трудно.
Когда ты специалист в этой области, то он нейросетей особо пользы нет, а если надо быстренько сделать "резиновые кнопки в 2 ряда на vue", а ты vue второй день видишь и вообще плюсовик, то вот тут оно очень даже помогает.Ещё было полезно отдать сетке генерацию doxygen комментариев к методам. Приходилось чуть чуть всего поправить, а не писать это всё руками.
Могу утверждать, что использование Codeium (Windsurf) ускоряет разработку, если ограничиваться только автодополнениями, даже не переключаясь в чат.
причём можешь делать это сколько угодно
Ускоряет только там где и так понятно что писать и требутся только автожополнение чтобы меньше и быстрее печатать...
Тоже привык его использовать и без него как-то уже не так уютно, но иногда он такое предлагает, что "Ой, мама".
кек, амрику открыли, попробуй написать код, объясняя "любое животное" как его надо написать :) прям квантовая скорость разработки.
> кек, амрику открыли, попробуй написать код, объясняя "любое животное" как его надо
> написать :) прям квантовая скорость разработки.Ппааааагадите - этой сабаке УЖЕ ж объясняли-объясняли. Мы ж не тренировать модель пришли (она и не тренируется на нас, кстати, это вот - забавная фича всех моделей. Почему-то их создатели очень боятся что модель плохому научится. А она и так ;)
> Мы ж не тренировать модель пришлиА в чем собственно разница между разжеванной формулировкой некоторого вопроса и обучением? Эт как говорится, правильно сформулированный вопрос содержит в себе ответ. А если по сути, то мораль сей басни такова, мы даем инструкцию какой-либо "мартышке" и требуем следовать ей.
Да, даже лучшая кодерская модель OpenAI o3 работает хреново. Всё дело в супер-секретном системном промпте, в котором дословно написано `Don’t generate extremely long answers; stay within the reply-token budget.` (и который модель таки слила не смотря на запрет), который с очень большим трудом и очень ненадёжно переопределяется, видимо OpenAI выделил специальный токен, защёлкивающий модель на восприятии того, что до него, как непреложной истины.Из-за стремления влезть в "бюджет", которого на самом деле нет (если модель убедить проигнорировать `Don’t generate extremely long answers`, то она может перестать экономить и писать сообщения на порядки большие) модель режет смысл кодовых конструкций, из-за чего при реализации одного требования реализация другого просто исчезает.
А зачем вы используете её через чат интерфейс, а не через Cursor или Codex? Ну или хотя бы через API, где можно задавать свои системные инструкции.
Потому что LMArena оплаты не требует. А то что данные возьмёт - мне пофиг, код всё равно опенсорсный.
В LMArena у моделей очень-очень мало контекста (они сами ограничивают), и они вставляют дополнительные инструкции. Как вы можете на основе этого оценивать работу модели в реальных инструментах?
Там основная проблема не контекст (контекста хватает на самые изощерённые программы на ЯП парадигмы 3.0 https://inferencebysequoia.substack.com/p/andrej-karpathys-s... , я кстати сформулировал, что некстген будут программы исключительно поверх LLM, ещё до Карпати), а размер сообщения, потребление памяти этим говносайтом (тем, что на основе gradio, новый не юзаю, там клаудфларь-малварь). А в последнее время - Cloudflare turnstile. legacy.lmarena.org пока есть, но они вот уже со вторника клаудфларь и её завесила малварью целиком (по-видимому завешивание малварью на legacy сами авторы не трогают с тех пор, как в сравнительный чат вручную добавили проверку на исполнение малвари, а вот в direct chat добавлять не стали, так как это рандомно пропадает). И систематически Cloudflare waf - которому очень не нравятся баш-команды, мейкфайлы ядерные драйверы на Си - ведь "это только злобные хакеры так пишут - поэтому Just one moment-страница ... прямо в API ответе, ожидающем только JSON".
> из-за чего при реализации одного требования реализация другого просто исчезает.ясно теперь почему при достижении вот вот щас сгенерит правильный полный ответ, он тупо ресетит весь контекст, а гемини вообще забывает на каком языке с ним говорили :) И какой толк от этого, если сначала надо все разжевать и объяснить этому "тупоголовому" построчно, а потом в итоге получить ресет контекста? Зря потраченное время? - ДА (ТРИЖДЫ)
Используйте модели в нормальных инструментах (которые используют модели через API), тогда никаких проблем с контекстом у вас не будет.
> Используйте модели в нормальных инструментахвот это не годится? ясно
//gemini.google.com/app?hl=ru
> (которые используют модели через API)
сколько там отвалить бабла?
Да заплатите вы уже за апи, чего как луддит упираетесь?? Посадите себя на крючок корпораций, это правильное и обдуманное решение.
> Да заплатите вы уже за апи, чего как луддит упираетесь??я кота в мешке покупать не хочу, а демка должна удовлетворить мои потребности, чтобы я купил реальный продукт, а так попахивает скамом.
Весь смысл использования моделей в том, что ты халявщик. Нехалявщики нанимают живых кодеров. Или вообще в виде текста ничего не делают, токарем работают, например.
да, токаря то жепети не заменит... а джуна-пограммиста без работы оставит :)
Токаря уже заменило ЧПУ. Ещё в 80х.
Да, веб-приложения ChatGPT/Gemini/Anthropic не годятся, так как в них вы не контролируете, когда они очищают старый контекст. Попробуйте использовать Cursor (нужна их подписка $20/месяц) или Claude Code (можно и на $20/месяц подписке Anthropic, но для больших лимитов на $100/месяц).
Или для гемини хотя бы https://aistudio.google.com/prompts/new_chat - тут вы сами контролируете контекст.
> Да, веб-приложения ChatGPT/Gemini/Anthropic не годятся, так как в них вы не контролируете, когда они очищают старый контекст. Попробуйте использоватьто есть это демо-стенд какой-то, верно? тогда если демо не удовлетворила мои потребности, с какого я должен платить за "кота в мешке"?
> Или для гемини хотя бы https://aistudio.google.com/prompts/new_chat - тут вы сами контролируете контекст.
а так там еще и аккаунт для входа нужен, короче - зря потрачу время.
На досуге: //www.youtube.com/watch?v=cyyR7j2ChCI
Нет. Почитайте про эффект уточки. Если вы поперлись решать свою задачу в AI, то вам нужна помощь, так как устали, лень, скучно, а тут как игрушка которая помогает вам расслабиться. Да выходит на 20% медленнее, но если бы не AI вы бы и не стали эту задачу решать вообще. Так что тут двоякое...
> Если вы поперлись решать свою задачу в AI, то вам нужна помощь, так как устали, лень, скучно, а тут как игрушка которая помогает вам расслабиться. Да выходит на 20% медленнее, но если бы не AI вы бы и не стали эту задачу решать вообще.я поперся к ЫЫ не решать свою задачу (задача по определению имеет решение), я решил проверить ЫЫ на простой задаче, которую сам давно решил, чтобы проверить альтернативу моему решению. Результат - выше описанный. Это всего лишь тест ЫЫ как продукта был, а не возможность, что он разрешит мою проблему. Проблем моих он точно не разрешит, ибо их ни один человек еще не разрешил. Сгенерить код на раскраску графа по типовой задаче он то сможет, а вот немного изменив условие раскраски - и вуаля код его можно не запускать, ибо некорректный. Зато он скажет, что раскраска графа увы сложная задача и мои возможности ограничены, что и без его ответа ясно.
> Да выходит на 20% медленнее, но если бы не AI вы бы и не стали эту задачу решать вообще.
Выводы у вас конечно же "не по Аристотелю".
Абсолютно верно, все кодеры на 100% выгоревшие ADHD-маньяки, у которых очень дофига задач, им жизнь постоянно подкидывает новые, а делать их все без помощи ИИ никакой жизни и brain capacity не хватит.
> все кодерыЕсли вы работаете на галере, не надо всех равнять по себе.
Где вы нашли "не галеры" которые платят в современном мире?
любая компания, которую гребцов надрессировали называть "продуктовой"
Вам не кажется, что у любого кодера вся жизнь - это галеры, просто продукты там - свои пет-проекты, ибо работы непочатый край, так как вокруг одни дураки на букву "М", которые свою работу не сделали, а из-за этого проблемы у тебя, потому что у тебя не хватает нужных базовых инструментов, и приходится за других делать их работу, чтобы просто иметь возможность сделать свою работу?
шок сенсация. но веб-синьор не мамонт, нужно просто его доитьа вот почему на техническом сайте "ai" не берут в кавычки - загадка
> а вот почему на техническом сайте "ai" не берут в кавычки -
> загадкапотому что на технических сайтах кавычки и так подразумеваются, это просто удобный термин и всего две буквы, а лекции для колхозников происходят за амбаром.
сильно ошибаешься по всем трём пунктам
Видали? Во как - всего 12 лет эксперту, а суть уже понял верно и вещает неиронично. Дарование! Внемлите!
используйте Cline https://cline.bot с http://openrouter.ai
дорого(от $10 до 30 за рабочий день), но прямой контроль за моделью. И конечно только Claude Sonnet 4(Opus в 5 раз дороже).
Я лучше бесплатно вложусь в саморазвитие чем буду тратить 30% зарплаты на эту ерунду и зависеть от интернета, ии и корпораций.
Если для вас это слишком дорого и треть зарплаты, то у вас есть проблемы более насущные, чем использование моделей.
Мне не дорого. Трачу столько на такси в месяц. Просто не вижу смысла тратить на "ии" столько средств. Развитие собственных навыков – вот вклад в своё будущее. Особенно когда нейросети станут повсеместны и разработчики деградируют в среднем.
>Если для вас это слишком дорого и треть зарплаты, то у вас есть проблемы30 баксов в день треть от дневной ЗП мидла. Хотя я и с $6k не готов 10% отдавать. ЗП не увеличится. всё это АИ реально нужно только вебняхам-фрилансерам, которые постоянно клепают однотипные визитки.
У вас мидл зарабатывает $90 за _день_?! Что это за такое волшебное место?
> У вас мидл зарабатывает $90 за _день_?! Что это за такое волшебное
> место?э... а куда уж меньше-то? Если у вашего мидла есть выходные и ночью он не подрабатывает еще на 90, а все же от цепи отковывают, то получается что-то уровня яндекс-курьера, но тому хоть моск не трахают.
(не надо называть ваше волшебное место, такого чорного волшебства и без вас отбавляй)С другой стороны, я бы может пожертвовал треть зарплаты роботу, который за меня вкалывать будет, но, блин, что-то пока они только жрать за меня горазды.
> э... а куда уж меньше-то?Вот и я пытаюсь выяснить — что они там с миддлами такое делают, что те за $90 в день не только приходят на работу, но ещё и работают там. С такой магией я где хошь CTO за год стану.
Cline очень плохой инструмент по качеству, т.к. постоянно кидает в модели слишком много контекста. Cursor работает намного лучше, и к тому же сильно дешевле. Причём у меня больше успеха было с o3 в нём чем с Sonnet 4, o3 работает дольше (в плане выполнения разных действий), но пишет код лучше.
никогда не пробовал Cursor, к клайну нужно привыкнуть, создавать разные чаты на каждую задачу и контекст, ещё последние версии научились классно кэшировать контекст.
Гпт как-то слабее Claude, сколько пробовал его, всегда возращалася на Claude, и у него тоже есть режим размышления.
https://openrouter.ai/rankings по количеству токенов в программировании уже год лидирует Claude Sonnet
Дело не в AI. А в том, что использующие его не желают думать ;)
они не могут физически
>Искусственный интеллект нужен когда не хватает естественного.Признать, что я умею, что ничего не умею, и не могу уметь в принципе из-за биологических ограничений - это один из признаков любого умного человека. "ИИ - не нужен этот ИИ - я тут самый умный, а он только рабочие места отберёт" - это путь в никуда. Любой прогресс, который люди достигли - они достигли не через биологическое совершенствование (оно лишь база), а использованием инструментов.
>You are only as good as your tools
должно быть максимой мировоззрения любого умного человека. Ты - никто, знать тебя - никак, и без современной инфраструктуры ты просто сдохнешь. Твоя задача - не рассказывать всем, какой ты умный, а оседлать лучшую инфраструктуру, какую ты сможешь достать, и использовать её оптимальным образом. При появлении лучшей инфраструктуры ты старую выкидываешь, и оседлываешь новую. Это - твоя функция в системе как человека - руководить инструментами. При этом ты должен отдавать себе отчёт - ты сам инструмент.
> При этом ты должен отдавать себе отчёт - ты сам инструмент.Сам себе инструмент, именно. А эти так не хотят.
Очевидно что функции ИИ могут быть полезны. В режиме [авто]дополнения кода — но не в режиме генерации, хах.
> Очевидно что функции ИИ могут быть полезны.только изобретут его хорошо если лет через 500
так 99% людей не желают думать, а тем кто думает ваш ЫЫ не нужен.
А себя ты к какой когорте причисляешь?
> А себя ты к какой когорте причисляешь?очевидно ведь, я же задался этим вопросом и пришел к выводу о 99%, ну вот сделайте и вы из этого вывод если вы не из числа 99%.
Идеи рождаются у Единиц!
Мне не очевидно, поэтому и спросил. Так к какой?
//ru.wikipedia.org/wiki/Cogito_ergo_sum
Бггг, этот пузырик хлопнет очень громко.
Нет, юристов и прочих гуманитариев / перекладывателей бумаг "ИИ" заменить частично сможет, но в остальном хаотично-рандомная сетка - пшик.
Хлопнет, без сомнения. Но нейросети как технология никуда не уйдут, просто станет до конца ясно, где они реально помогают решать задачи, а где это был пшик. Хайп такой хайп. Они уже работают, например, в определении признаков залегания минералов на основании анализа спутниковых снимков. Именно только признаков, а проверяются они геологами на месте. Или более массовое: увеличение изображений, очистка их от шума, генерация скучных однотипных иллюстраций и т.д.
>увеличение изображений, очистка их от шума, генерация скучных однотипных иллюстрацийвот это как раз самое провальное применение, от кодогенерации хоть какая-то польза
В первых двух случаях как дизайнер утверждаю: польза есть, постоянно использую, ибо исходники очень часто фигового качества. В последнем же случае... Игрался с этим немало, бывают неплохие результаты в зависимости от промпта, разных лор, шедулеров, семплеров и прочего, но никогда не получается то, что представляется в уме, всё какой-то ширпотреб выдаёт. Может если кому-то очень лень и фантазии нет, то сгодится, но мне оно не надо.
Польза может и есть, да только всех, кто полагается на ai-апскалинг/ретушь надо увольнять с волчьим билетом как профнепригодных. То, что нейронки выдают, не имеет ровным счётом ничего общего с оригиналом, и то, что "пипл хавает", оправданием являться не может. Ну а дизайн… Все мы видим эти дизайны каждый день.
> в определении признаков залегания минералов на основании анализа спутниковых снимковЭтой технологии примерно 40 лет, разработана и поставлена на поток НИИ Космоаэрогеологии. Суть там довольно простая, по спектральному анализу растительности над местами залеганий можно судить о содержимом недров. Это делалось вручную, примерно сотни человек хватало на весь совок. С ИИ, полагаю, хватит дюжины на всю планету, только снимки давай.
Источник: мой дед, который вон тем самым и занимался.
А зачем ии для анализа спектра?
Там много неочевидной ручной работы. Склеить А3 из карточек 9×12, которые надо правильно подрезать так, чтобы совпали границы снимков и выкинуть те где самолёт тряхнуло и снимок получился смазанный; соотнести спектр с геологическими формациями местности; выкинуть ложные срабатывания типа склада ГСМ или танкодрома, которые будут «сигналить» огромные залежи нефти, хотя её там в принципе быть не может, и так далее. В итоге на карте ставятся точки, в которые вертолётом доставляют бригады геологов для взятия и экспресс-анализа проб. ИИ может облегчить значительную часть этой работы, или как минимум сказать куда смотреть внимательно.
> Бггг, этот пузырик хлопнет очень громко."Бггг" будет только тогда, когда работники убедят работодателей в результатах исследования типа сабжевого. А пока иди, дружок, ищи новую работу...
Тут проблема - работа меня сама находит...
Про это есть одна русская пословица: … работа любит. И не то, чтобы ты производил такое впечатление с первых букв комментаря, но некоторая зашоренность, запредельная самоуверенность и практически полное отсутствие рефлексии дают серьёзные основания для подозрений.Тем не менее, ты третий мой любимый персонаж этого комедийного сериала. Первые два — пох. и двенадцатилетний.
«Юристов и прочих гуманитариев» как раз не сможет, суть их работы разбираться в тонкостях человеческой души и абстрактных понятиях типа «справедливости наказания», «уменьшения страданий», а то и вовсе т.н. «judgement of character», то есть вещах совершенно не формализуемых. А вот самый нижний уровень технических профессий, где всё стандартизированно, формально и «по госту» — вполне. Но на данном этапе это даже не 20%, от силы 5%, если не меньше. При наилучшем раскладе может быть мы избавимся от каких-то т.н. bs jobs. При просто хорошем уменьшим количество занятых на них людей.
Как раз таки сможет, потому что за "тонкости души" и "абстрактные понятия" как раз рандом и сойдёт.
Разве что твоей.
Багфиксы - это нетривиальная задача. Она требует и понимания кода, и понимания того, как он должен работать (что из кода совсем не следует, нужен широкий контекст). Очевидно, что ИИ это не будет мочь какое-то время (пока его хотя бы не научат запрашивать недостающие ключевые вводные).
ИИ - надо было сделать на вчера, сейчас нужен результат, завтра с миллионами все сваливают в Аргентину в закат, как немцы в 1945.Всё. Для большего оно не надо. Заменить джунов с галер на аутсорсе.
Только оные намного дешевле и их можно выжать досуха, иногда получая мидла.
Да, иногда, можно сгенерить годноту - вот тут и берите свою десятину с прибыли)
Но, зачастую, оно бесполезно.
p.s.: ибо это не ИИ. И даже не LLM. Просто убогий паттерновый алгоритм, выдающий подхалимский псевдоправдоподобный бред.
Не удивляет. Но!
Не раскрыта тема ai и прокастинация.
Эксперимент предполагал бодрое решение задач на свежую голову...
Мой опыт - разработка идёт медленнее, потому что постоянно надо проверять, но результат в итоге лучше, потому что процесс получается как бы в постоянном диалоге и вы друг друга рецензируете и исправляете.
Обычно ИИ (пробовал много разных, но все бесплатные и с Gemini как-то не сложилось) предлагает очень средний результат (зависит от ЯП конечно, на bash конечно отлично пишет, а на каких-то нишевых жуть), но иногда предлагает варианты с такой точки зрения, с которой без ИИ (или другого взгляда со стороны) и не рассматривал никогда.
Платные, говорят, офигенно пишут. На счет нишевых не знаю, но топовые ЯП прямо чистейший как слеза код. И это только начало. Дальше будет еще лучше.
именно - "говорят"
Ну не знаю. Мне, не знающему никакой ЯП от слова "вообще", чатжпт наваял прекрасные пару скриптов, чтобы парсить парочку сайтов для работы. Код оказался чист и офигенен (показал программерам). И заняло это все у меня минут десять от силы. Да, это, конечно, не суперсложное что-то, а простейшие действия, но тем не менее.
Чо, вот прям значение из <div class="value1">value1</div> выдернуть смог?
Ну а вообще итог программирования, например, на производстве - увеличение производительных сил? Чтобы дать дешевую продукцию?*снимаю розовые очки*
ИИ ускорило внедрение багов.
А мне нравится как сопилот генерит тесты для покрытия кода. Всего несколько секунд и вся функция покрыта, очень помогает, если цикломатическая сложностб функции высокая. Я бы устал все условии покрывать. Иногда он отлично отвечает в чате редактора на вопросы, которые сам не смог решить. Ну и ошибки неплохо ищет в коде если попросить.А вот для генерации кода с нуля они так себе подходят пока.
По личному опыту разработка идет быстрее, если не доверять чего-то слишком сложного. Документация к коду: пишется за 1 секунду и в 99% корректно, тесты пишутся за минуту и в 90% делают то, что надо по описанию. Раньше я тратил на это по несколько часов в день. С написанием кода сложнее, но одноразовые задачи с "выбросил и забыл" типа баш скриптов или парсеров сайте решает тоже отлично. Недавно коллега прислал скрипт на фортран и попросил написать гуи, 15 минут на ai написание, 45 минут на тестирование и код готов, при условии, что я не знаю ни фортрана, ни qt.
Эти проценты тебе ведь тоже ИИ нагенерил? Вру. Нет у тебя никакого ИИ, ты просто пишешь каменты на опенете. Пишу это по личному опыту. Без ИИ.
Вот тесты это верное замечание, тесты всегда скучно писать, а ИИ делает это быстро и хорошо.
ну ка, пример вашего промта и ответа ЫЫ в студию
Не умеешь пользоваться ИИ и не можешь нормально даже человеку объяснить что ты хочешь? Не бывает никаких универсальных промтов они должны зависеть от задачи. Конечно если целенаправленно не хочешь получить ерунду.
> Не умеешь пользоваться ИИ и не можешь нормально даже человеку объяснить что
> ты хочешь?спасибо, поржал :)
> Не бывает никаких универсальных промтов они должны зависеть от задачи.
Я всего лишь потребовал вашего конкретного промта на написание конкретного теста к конкретному коду, что тут конкретно вам не понятно? Или я все же говорю с очередным ЫЫ? Тогда ясно, зря потрачу время, Аривидерчи.
"Аривидерчи" (arrivederci) - это итальянское слово, которое переводится как "до свидания" или "до скорой встречи". Это вежливая форма прощания, которую можно использовать как в формальных, так и в неформальных ситуациях, по данным сервисов перевода. В русском языке оно часто используется для придания прощанию некоторой итальянской "изюминки", особенно в контексте, связанном с Италией или итальянской культурой, по данным словарей.
>Я всего лишь потребовал вашего конкретного промта на написание конкретного теста к конкретному коду, что тут конкретно вам не понятно?Develop a comprehensive suite of unit tests for the prepareArrays() function in Python, use the pytest. Write multiple test methods that cover a wide range of scenarios, including edge cases, exception handling, and data validation. Write small descriptive docstring for each test. Thank you.
По поводу конкретного кода, советую попробовать самому, иначе эффекта удивления не будет.
Вы вышли из аккаунта
Чтобы использовать Gemini, войдите снова.ясно.
забавно, что вы тесты пишете _после_, а не _до_
Это весьма прагматичный подход. Писать сначала тест удобно, когда работа понятная и нет неизвестных — пишешь тесты и отдаёшь джуну. Когда наоборот — неизвестных много, задача размытая и впереди поле граблей, приходится сперва сделать чтобы хоть как-то работало, и потом уже придумывать тесты, чтобы убедиться что оно действительно работает как надо и всякие вырожденные случаи не забыты.
на раст можно сразу писать без тестов
На любом языке можно писать без тестов. Как там в Linux с тестами, порядок? 146% покрытия есть уже или всё так же полагаются на добросовестность разработчиков?
на считай, что там с порядком. надеюсь, реклама в калькуляторе не помешаети нет, безопасно писать без тестов можно на расте, потому что он безопасный
Часто бывает, что нужная функция нужна прям сейчас, а тесты нужны уже для чего-то более важного и интересного. Потом она модифицируется, чтобы удовлетворять новым требованиям. А потом уже только появляется время писать тесты и улучшать покрытие. Спланировать весь код в голове и начать с всевозможных тестов это все-таки какая-то идилия.
Простите, те же юнит-тесты "до" - написать невозможно, потому что цель - code coverage.
Гугли TDD, рандомный ты наш.
Я пользуюсь AI только для поиска информации, и то перепроверять приходится. В целом, быстрее работа не делается, примерно столько же времени уходит, чуток проще стало, это да.
Ты хватаешься тем что не умеешь нормально пользоваться инструментом?
Да. И что?
праздник хейторов АИ просто, решил копнуть откуда, и как то все просто"METR (Model Evaluation & Threat Research) — некоммерческий исследовательский институт, который оценивает возможности пограничных моделей искусственного интеллекта (ИИ) для выполнения долгосрочных агентских задач, которые, по мнению некоторых исследователей, могут представлять катастрофические риски для общества."
хейтер АИ сделал исследование, специально чтобы хетеров порадовать!
Тряски хейтеров АИ это как тряски растофанатиков от с++
При написании кода гном не пользуюсь, но сейчас поисковики выплёвывают ai при поиске программерской инфы. И по моим запросам 1 из 5 полезный, 1/2 из 5 не правильный и остальные бессмысленные. Шо яндекс шо гугел. Вот так чтоб помог так помог был пару раз. Сейчас я на их выхлоп особо внимания и не обращаю.
Научись нормально писать вопросы и научись декомпозиции.
То же самое. Доверия к их выхлопу нет: сналёту вроде всё правильно, а вчитаешься и понимаешь, что присутствует враньё, выдумки просто на основании сходства двух понятий звучащих или пишущихся сходно, на совершенно разных по смыслу.
> Сейчас я на их выхлоп особо внимания и не обращаю.на держи
https://addons.mozilla.org/en-US/firefox/addon/udm14/
просто добавляет "&udm=14" в url
Дьявол в деталях. Если знаешь как выглядит правильный результат, но не помнишь всех деталей — однозначно будет быстрее с ии, но только до определенного уровня сложности. Если не знаешь, то ии ничем не поможет. Напечатать «добавь в ямл селектор таких-то нод» быстрее, чем по памяти селектор расписывать. Дать две структуры и попросить написать функцию конвертящую одно в другое тоже быстрее, чем руками, но тут уже с тонкостями: смотря какой ЯП, смотря какая структура. В моём опыте, на алголоподобных языках ии кодит хуже, чем на гомоиконных, что вполне ожидаемо. А так — обычный инструмент, чуть сложнее грепа.
Вы просто не умеете его готовить (С)AI в кодинге нужно использовать как помощника/ускорителя для простых рутинных задач.Если знаешь что хочешь, знаешь как это сделать но хочется побыстрее - задаешь конкретный недвусмысленный промпт и получаешь приемлемый результат вкупе с экономией времени.
Ну а если не знаешь как реализовать задачу и задаешь промпты вида "делай чтобы все работало а плохого не делай" то тогда да, ты обречен :) ССЗБ :)
Моё основное применение ИИ - это писать части кода, в которых я сам нифига не понимаю. Или в которых понимаю, но это настолько муторно делать по уму, что лучше свалить на ИИ, чтобы сделал кое-как, а я потом ручками доведу. Обычно пайплайн такой: сначала модель пишет код, а потом ей промп критиковать это говно, а после критик - промпт рефакторить это говно, и так по несколько раз.
Ребятки, да поймите вы, что программиста нужно родить, вырастить, в школе отучить, в ВУЗе отучить, и лет 5 в реальной разработке морить, чтобы из него вышел спец. Итого лет 27 как минимум. А нейронки есть уже сдесь и сейчас. Да, результат их сейчас не идеален - но какими они будут через эти самые 27 лет?Даже сегодня уж лучше зплатить немного временем и качеством софта - но не растить из своих детей несчастных полунищих работников, убивающих свою спину и простату, сидя годами за монитором. Не стоит оно того.
Полунищие работники получаются в промышленных масштабах и без всякого программирования. Как будто всем кроме программистоав платят нормальную ЗП а не нищие копейки. С убийством спины и простаты вполне себе справляются тилипончики и планшетки за которым так любят проводить время с мала до велика пырясь в Утуп и TikTok.Я думаю вы не знаете о двадцатитрёхлетних senior и девятнадцатилетних team lead. 27 годков это чересчур много. Ну и зачем останавливаться на программистах. Можно же заменить учёных или инженеров (если что, я о настоящих инженерах а не о программиста). Проектировщиков или ещё кого. Ведь тоже деньги проедают, подлецы. Вырасти да обучи да деньги плати.
> Я думаю вы не знаете о двадцатитрёхлетних senior и девятнадцатилетних team lead. 27 годков это чересчур много.Не знаю как он, но я видел. Как правило это люди которые убивают мечту заказчика, потому что опыта у них таки не хватает. И гордится тут нечего - просто реальный тим-лид за рубежом. А нанимают такого тим-лида потому что молодые люди весьма энергичные и выполняют то что им говорят безусловно и не думая. За рубежом часто встречаются люди которые думают что самые умные, только это часто заканчиваются проблемами на проектах и уход на позицию менеджера в какую-нибудь компанию, т.к. есть отличный опыт (проеба) управления небольшой компанией. Часто ценность такого опыта околонулевая - потом далее такие тим-лиды так и не получив опыт работы на более простых позициях не показывают хороших результатов. Но вот кстати до многих гуманитариев на позициях ещё выше это понимание приходит с большими проблемами.
ну щa кaкaя-нить атомка жаxнет по причине вайбкодеров, расскажешь про пожертвовать качеством софта.
было куда проще: из-за ошибки в программе медицинский агрегат выдавал запредельную для пациентов дозу облучения. Или как в Британии - посадили работников почты из-за сбоя бух-проги, и конца разбирательства так и не видно.
Мякотка в том, что в обоих случаях ии не использовался вообще, весь код писали самые сеньористые сеньоры, ручками, всё по канону.
Пока что мы точно знаем, что и без вайбкодеров жахает только в путь.– Алло. Это ВПЧ-2?
– Да.
– Что у вас там горит?
– Взрыв… на главком корпусе… между третим и четвертым блоком.Что там, говоришь, с качеством софта?
> уж лучше зплатить немного временем и качеством софтаавтомобили-убийцы будут не только в фантастике.
Давно уже. Смотри статистику ДТП в своём городе. Одна из тех вещей, с которой человек отлично справляется без всякой помощи.
> но какими они будут через эти самые 27 летТакими же, как сегодня. Или хуже. Аппаратный порог быстродействия и сложности достигнут уже сейчас, а "обучать" нейронки будет не на чем. Ввиду вашего подхода. А ещё более вероятно, что мир поменяется настолько кардинально, что в худшем случае никого в живых не будет, в лучшем - всем будет сильно не до нейронок примерно до конца нынешнего столетия. Хотя, кто знает. Есть крохотный шанс, что люди всё же за голову вовремя возьмутся. И тогда нейронки может быть даже займут своё место. На сортировке мусора например)) Или в науке, для обработки больших массивов данных. Но не более того.
В науке и обработке больших данных оно уже лет 20+ как применяется. Весь нынешний хайп связан с тем, что нашлось применение ИИ в бытовом плане для всех. И с видимым глазу результатом.
Нейронки древняя технология из 50х годов. Предыдущий пик интереса был в 1985м. С тнх пор была проведена некоторая оптимизация вроде глубокого обучения, сворачивания, трансформаторов и это в общем всё. Оно не становится и не станет лучше от увеличения объемов.Любопытно как ИИ компании размазали свои убытки по счетам за электроэнергию по населению. В США стоимость электроэнергии скакнула на 800% в прошлом году, а в этом ожидается 20%.OpenAI например крайне убыточна.
Как по мне ИИ полезен в мелких задачах, но обдумывание и задержки из-за формовки запроса реально раздражают. И то некоторые задачи оно решает не очень. Знает что есть А, есть Б и имея это можно получить В. Оно с логикой не дружит - может сделать А, может сделать Б, но В сделать не может, видит только очень плохой вариант. В общем что-то правдивое в этом исследовании есть.
При этом 76% отметили, что они не задействуют код от AI без предварительного ручного рецензирования.т.е. 24% коммитят аи копипасту даже не проверяя/глядя
"увеличение нагрузки на тех, кто отвечает за приём кода в проекты" вообще не почувствовал - после того как внедрили ИИ в компании перестал смотреть простыни изменений вовсе aka pull requests - "сами навайбкодили, сами вайботлаживайте"
,
Я на нейронках тестила одну простую задачу на логику, которую создала сама (чтобы не было возможности её просто "загуглить"). Ни одна из нейронок не смогла найти верного решения даже с серьезными подсказками (и разбором его ошибок).
Человек же сможет её решить.Найди 8-значный код, используя следующие правила:
1. 1 9 4 2 8 3 6 7 : 7 цифр совпадают, 1 на своём месте (остальные не на своих и одна цифра из 8 здесь ошибочна).
2. 1 1 1 1 1 1 1 1 : 1 цифра на своём месте, 7 цифр ошибочны.
3. 5 6 5 8 9 0 2 3 : 1 цифра на своём месте, 3 цифры ошибочны.
4. 4 0 9 2 1 0 6 7 : 4 цифры на своих местах.
5. 2 1 9 7 5 6 5 5 : 2 цифры на своих местах. 4 цифры ошибочны.
6. 2 5 0 7 3 8 4 1 : 1 цифра ошибочна, ВСЕ цифры не на своём месте.
7. 3 1 8 2 6 0 1 8 : 4 цифры на своих местах.
Найти код.
Не понимаю чего вы хотели этим доказать. ИИ нужен для решения скучных однотипных задач в первую очередь.Но вот ответ от ИИ: 31472865
Правильно? Человек мб и может решить, но это ему не надо.
> Но вот ответ от ИИ: 314728651) это ответ от llm
2) бредовый рандомый бред> Правильно?
ты код так же пишешь?
Это неверный ответ. И здесь не важна задача, а то, что ИИ (на самом деле это никакой не ИИ) не в состоянии создавать и воспринимать логические цепочки и следовательно не в состоянии решать сложные алгоритмические задачи за исключением типовых по шаблону, который уже и так написали люди и их легко загуглить.
ИИ заметно ускоряет разработку. Особенно если есть ЯП синтаксис которого ты не знаешь.С ИИ ты просто фокусируешься на задаче, а не на конкретном языке.
Какие-нить мелкие таски закрывать на своем языке особо пользу не заметишь.
А вот накидать MVP или скелет проекта - идеально. Он сразу и тексты впишет дефолтные для форм, и переменные назовет, и цвета подберет. Потом просто рефакторишь это и добавляешь функционал.
Вообще не люблю писать код, особенно с нуля, когда надо базовую структуру сделать, дефолтные значения вписывать для интерфейсов. Это самая скучная часть программирования.
Какую-нить автоматизацию или скрипты накидать - идеально. Раньше ленился, щас пару предложений и скрипт готов. На любом языке, под любой API.
Какого-нить слабого джуна на мелком проекте вполне заменить может.
> ИИ заметно ускоряет разработкукак же вы за**али со своей копипастой, безграмотные мамкины веб-синьоры