Мы все обречены поддерживать легаси код, когда-то сгенерированный ИИ - QubStore

Мы все обречены поддерживать легаси код, когда-то сгенерированный ИИ

Вероятно вам приходилось принимать участие в проектах, которые практически утратили способность быстро вносить изменения из-за огромного объема техдолга. Поначалу все идет гладко, но в какой-то момент стоимость сопровождения проекта начинает расти экспоненциально и команда замечает это слишком поздно, когда выпуск релизов в срок уже становится сложной задачей.

Вопрос импульсивно решается наймом новых инженеров и это действительно на какое-то время закрывает проблемы, но не решает их в корне, потому что всегда накидывает добавочные затраты на синхронизацию параллельных команд, количество которых растет по мере увеличения штата.

Менеджмент это начинает замечать и почему-то традиционно уходит в историю «нам нужно строить процессы»: внедрять agile, становиться гибкими, ага. Но процессы это всегда о воспроизведении повторяющихся действий с предсказуемым результатам, а для изменения самого результата нужно менять правила игры, менять подходы к его достижению.

Главная причина происходящего заключается в том, что стоимость поддержки кода растет нелинейно по отношению к его объему. Изначально она совсем небольшая и остается такой длительное время, но в какой-то момент её рост начинает разгоняться.

Отсюда следует вывод, что динамику развития проекта в долгосрочной перспективе определяет далеко не скорость разработки, а способность держать под контролем затраты на его поддержку. И это полностью техническая задача. И это именно та область, в которую нейросети пока не заглянули даже на чуть-чуть и которая все также на 100% остается за человеком.

Нейронка никогда не будет спорить с вами почему этот код или фичу писать не надо, это будет делать только сеньор, но в эпоху дешевого кода голоса инженеров в шуме ИИ-лихорадки слышны все хуже.

Если вы думаете, что бесконечно сможете полагаться на покупку более дорогих подписок и использование более мощных моделей, то у меня для вас плохие новости. Благо мы все еще находимся в самом начале этого пути.

Все ИТ стало стартапом

Если вы когда-то приходили в стартап или просто новый проект, то вам знакомо это чувство свободы и ощущения безграничности собственных сил. Вы думаете: “я сейчас горы тут сверну, я знаю как реализовать очень крутые штуки”.

Правда в том, что с приходом нейронок мы все стали жить словно в стартапе. Стоимость поддержки написанного ранее кода сокращается, а изменения стало вносить проще и быстрее. Впервые идея переписать проект с нуля перестала выглядеть как затея на пару лет с оценкой трудоемкости, улетающей в космос. Разумеется это нельзя сказать обо всех проектах, но что-то среднего уровня и ниже явно сюда попадает.

Агентская разработка стала тем инструментом, который обеспечил невиданную до этого скорость генерации кода. Многие начали говорить, что теперь код не имеет ценности, но это конечно же не так. Ценность кода равна нулю, когда это ваш localhost. Практически до нуля снизилась стоимость его написания, но не стоимость владения. Когда этот код находится в проде и приносит компании прибыль, он начинает стоить для вас денег, ровно как и его поддержка.

Суть в том, что сейчас мы еще не успели сгенерировать столько кода, чтобы стоимость его поддержки начала существенно менять наши планы по написанию еще большего его количества.

Попытаюсь изобразить это в виде графика. Все тренды, даты, шкалы осей и динамика условны и нужны исключительно для наглядности.

Мы все обречены поддерживать легаси код, когда-то сгенерированный ИИ

Отсюда и вся та драма, которая развивается в отрасли, когда один смекалистый парень с нейронкой иногда заменяет небольшой отдел. Обязательно наступит тот момент, когда он перестанет справляться с тем, что успел нагенерировать. И руками это не разобрать уже никогда, да никто и не будет пытаться.

Уже сейчас я встречаю команды, которые за полгода успели обрасти миллионами строк кода и непонятно что с ним теперь делать, хотя и его поддержка все еще требует не так много ресурсов.

Точка насыщения где-то впереди, но если ранее она была гипотетической, то сейчас её уже можно разглядеть. Когда мы начнем подходить к ней, ИТ отрасль окажется примерно в той же ситуации, в какой была около 2016 года, когда программистов нанимали за любые деньги, главное чтобы проект развивался.

Нет, от нейронок мы конечно не откажемся и к ручной разработке не вернемся, но уже увязнем в той трясине, в которой решения сможет принимать только живой человек. AGI спасет, скажете вы. Возможно, но будет ли его стоимость вам по карману?

Гайки закручивают, кто бы сомневался

Мы все обречены поддерживать легаси код, когда-то сгенерированный ИИ

Если зайти в десктопное приложение Claude, то при открытии новой сессии есть статистика по использованным токенам за каждый день. Моя выглядит примерно так.

Наверняка многие заметили, что с конца июля лимиты Клода стали выжираться очень быстро. Еще в конце весны у меня был челлендж потратить все 5и часовое окно подписки за 100 баксов. Я проиграл.

Мой личный проект с тех пор вырос не так сильно. Прирост по объему кода составил не больше 20-30%, но теперь я запросто расходую на ~80% 5и часовое окно уже 200$ подписки, а её лимиты в 4 раза больше. Теперь у меня другой челендж: хочу попытаться вернуться хотя бы в лимиты 100$.

Вариант занести денег за более дорогой план или купить еще одну подписку скоро перестанет работать. Выход ИИ-гигантов на самоокупаемость охладит бесконтрольный рост использования нейронок.

Оно и понятно. Ведущие ИИ-провайдеры по сути субсидировали подписки за счет постоянного притока инвестиций и сейчас это впервые стало окупаться, тренд принял массовый характер. Все больше компаний видят эффект от нейросетей и спешат занести свои денежки в надежде получить конкурентное преимущество и сэкономить на персонале.

Да только платить скоро придется по полному прайсу. И тот факт, что эквивалент 200$ подписки составляет 8000$ API, радости не добавляет.

Промежуточные итоги

У меня есть субъективная статистика от коллег и знакомых, что примерно 99% вайбкода не доезжает даже до публикации, не говоря уже об активном использовании. Выходит бОльшую часть времени топовые модели со всеми знаниями человечества внутри просто делают пустую и никому ненужную работу.

Хорошо, но тогда полезный код составляет лишь статистическую погрешность от всего того, что было сгенерировано нейросетями. Это приводит нас к выводу, что реально созданная с помощью ИИ ценность совсем небольшая, а популярность технологии в ИТ вызвана лишь радикальным снижением порога входа в профессии.

Согласно закону диалектики, количество порождает качество. По этой логике миллиарды строк нейросетевого кода когда-то должны перерасти во что-то большее. Трудно сказать, как именно будет выглядеть момент, когда нейронки упрутся в невозможность дешево поддерживать то, что сами же и создали. Остается только надеяться, что переход в качество случится до этого момента.

Ссылка на основную публикацию