KotНемного философии в ответе на мой вчерашний пост от Сергея (@naguala). Сергей к сожалению не завел свой канал, поэтому выложу у себя целиком.
Уязвимости в скиллах — это полбеды. Гораздо смешнее выглядит сама динамика развития этой экосистемы:
**ИИ генерирует скиллы.
ИИ пишет сканеры**, чтобы проверять эти скиллы.**
ИИ придумывает векторы атак**, чтобы обходить эти сканеры.**
ИИ генерирует сканеры** нового поколения.**
ИИ пишет эксплойты **уже для них…
Уроборос радостно жует свой хвост. Каждый новый слой создает острую потребность в следующем. И система начинает тратить всё больше вычислительных усилий просто на поддержание самой себя.
Исторически такой безудержный рост архитектурного маразма всегда тормозился суровой физикой: человеческое время и бюджеты не резиновые. Люди ленивы, а разработчики стоят дорого. Но в этой новой игре правила поменялись.
Токены стоят копейки. Агент может нагенерить тысячу страниц инструкций, потом тысячу страниц логов для сканера, а сверху тысячу страниц обходов защиты — и всё это за пару минут.
В этой системе нет абсолютно ничего, что толкало бы её к простоте. Точка равновесия здесь — бесконечное усложнение. И не потому, что кто-то так хитроумно спроектировал архитектуру. Просто каждый новый слой мгновенно рождает спрос на следующий со скоростью генерации токенов.
В какой-то момент это вообще перестает быть похоже на инженерию. Это просто саморазрастающаяся бюрократия, целиком состоящая из промптов. ИИ создает работу для ИИ, чтобы защитить ИИ от другого ИИ. ** Кажется, мы наконец-то изобрели идеального сотрудника для кровавого энтерпрайза 😜**
**PS. **Не стесняйтесь, делитесь своими мыслями в комментариях. Это помогает находить идеи для новых постов.