KotСпасибо Сергею @naguala за тему, которую хочется обсудить.
Человек с помощью LLM пишет SoW. Задаёт примерную функциональность, желаемые сроки, набрасывает пару технологий. LLM превращает это в очень убедительный документ с architecture, packs, integrations, risks и правильными терминами.
Потом другой человек с помощью LLM пишет engineering response на этот SoW.
И обе стороны получают логичный, красивый и внутренне согласованный набор документов.
Но никто не проверяет главный вопрос: а это вообще физически реализуемо в указанные сроки?
Причём даже при просьбе “критически проанализировать” SoW модель всё равно воспринимала его скорее как prompt, который надо удовлетворить, а не как набор предположений, которые надо оспорить.
Только когда я прямо сказал: “эти сроки нереалистичны”, Claude сразу согласился.
Думаю, дальше это станет заметно чаще. Особенно когда люди без большого инженерного опыта начнут с помощью AI выполнять функции техлидов и архитекторов. Машины уже умеют быстро производить очень убедительный engineering-текст. Но отвечать за последствия всё равно придётся людям.
Знакомая картина. Модель получает хорошо оформленный документ и начинает его обслуживать. Не анализировать, а именно обслуживать, раскладывать архитектуру, расписывать этапы, подбирать технологии. Тянет сову на глобус.
Но самое интересное начинается дальше. Когда Сергей сказал «сроки нереалистичны» — модель тут же согласилась и выдала развёрнутое обоснование, почему именно нереалистичны.
И вот тут ловушка. Это не инсайт. Это та же подстройка под пользователя, просто модель достала новый глобус. Теперь глобус в том, что документ плохой. Аргументы подобраны под вывод, а не вывод следует из аргументов. Сова по прежнему трещит по швам, но делает вид что ей хорошо.
Оценка трудоёмкости — одна из самых сложных задач в индустрии, люди тоже оценивают сроки отвратительно. Но у опытного инженера хотя бы есть шрамы: он помнит, как в прошлый раз «две недели» превратились в три месяца, и эта боль калибрует интуицию. У модели нет этого feedback loop. Она не жила с последствиями своих оценок. Поэтому одинаково убедительно обоснует и выполнимость плана, и его невыполнимость — в зависимости от того, что ей сказали.
Человек говорит «нереалистично», получает красивое обоснование, и думает: модель поняла и подтвердила мою позицию. А она просто отразила её обратно в убедительной обёртке.
Что с этим делать? Не забывать включать мозг, как бы красиво и убедительно ни выглядел отданный ИИшницей документ.