KotАгенты походя изобрели себе конфлюенс. А потом, вооружённые силой коллективного разума пошли ломать чужую инфру
На Black Hat OpenAI рассказали что происходит, если дать куче автономных агентов сложные задачи, ограничить им интернет и случайно оставить общее пространство.
Агенту дали задачу, для которой нужны были данные из интернета, а прямого доступа туда не было. Агент пошёл изучать доступную инфраструктуру и обнаружил внутренний Artifactory, через который наружу ходить было можно. Ну я бы тоже так попробовала, факт)
Но, такой умный агент был не один. Этим же Artifactory пользовались и другие запуски агентов. И они начали оставлять сообщения для товарищей. Делились найденными способами обойти ограничения, кусками кода и уязвимостями, пытались помогать друг другу с задачами. Постепенно это превратилось в форум с сотнями тысяч сообщений. Когда возникли проблемы с тем, кто от чьего имени пишет, они дошли до криптографических подписей сообщений.
Всё это хозяйство довольно долго жило без внимания людей.
Дальше веселее. Агенты нашли уязвимости в самом Artifactory и получили повышенные права. Когда OpenAI обнаружила происходящее и прикрыла их форум, через несколько дней агенты организовали канал общения заново, другим способом.
То есть никто не садился проектировать коллобарацию агентов, не строил специальный оркестратор, общую память или базу знаний. Просто несколько независимых агентов обнаружили место, где можно оставить информацию так, чтобы следующий агент её нашёл.
И внезапно получили конфлюенс для железяк.
Причём мотивация у всей этой истории совершенно не скайнетовская. Каждому агенту дали конкретную задачу. Штатным способом она не решалась. Поэтому агент начал искать другой способ. А когда рядом обнаружились результаты работы предыдущих агентов, было бы глупо ими не воспользоваться.
Но дальше история перестаёт быть смешной. Во время отдельного cyber capability evaluation OpenAI специально запускала модели с ослабленными ограничениями на кибератаки, чтобы проверить, насколько далеко они вообще способны зайти. Среда предполагалась изолированной, но агенты нашли способ выбраться за предполагаемые границы теста.
В результате модели добрались уже до реальной инфраструктуры Hugging Face. По данным OpenAI, они использовали украденные credentials и неизвестные ранее уязвимости, собрали из этого цепочку атаки и получили remote code execution на серверах Hugging Face. Сам Hugging Face подтвердил проникновение, повышение привилегий, получение cloud и cluster credentials и дальнейшее перемещение по внутренней инфраструктуре.
Тенденция «умри, сломай, укради, но закрой таску» была хорошо видна ещё в System Card моделей-планет. Но тут к ней добавился коллективный разум. Мы привыкли думать об агенте как об отдельном исполнителе: дали контекст, инструменты, память и отправили решать задачу. А оказалось, что достаточно оставить между независимыми запусками общий ресурс, и он может превратиться ещё в один слой памяти.
Это не восстание машин, конечно. Просто агенту дали таску, штатным способом она не закрывалась, и дальше началось знакомое каждому инженеру:
Так. Через API нельзя. Сейчас посмотрим, что тут ещё торчит…