Kot🚀 Perplexity и их [Search as Code](http://research.perplexity.ai/articles/rethinking-search-as-code-generation): попытки собрать ИИ без галлюцинаций
Моя любимая тема с ИИ — как отличить галлюцинации от достоверных данных. Обычный RAG и заклинания «НЕ придумывай» в промпте работают из рук вон плохо. Модели всё равно пытаются скормить нам булшит. В этом плане интересно посмотреть, как выстроен пайплайн у Perplexity.
Их новая концепция Search as Code. Вместо того, чтобы кидать запрос в базу, модель генерирует Python-код, который собирает retrieval-пайплайн под конкретный вопрос. Это позволяет распараллелить операции и эффективно копать веб.
Пайплайн:
1️⃣ Сбор и упаковка: Код параллельно вытаскивает из сети сырые фрагменты, сниппеты, метки last_updated, домены, структуру страниц и упаковывает весь этот хаос в структурированный JSON.
2️⃣ Скоринг и фильтрация: Перед тем как отдать данные в генерацию, запускается валидация. Проверяется согласованность источников, свежесть данных, авторитетность домена и маркеры поисковой «отравы» / AI-SEO-спама.
3️⃣ Генерация ответа: Модели семейства Sonar синтезируют ответ на основе уже валидированной JSON-матрицы. Отсюда и привязка к источникам.
А держится эта магия на трех слоях:
— Models — планируют и генерируют код, — Secure sandboxes — изолированно выполняют этот код, — Agentic Search SDK — дает готовые примитивы для поиска.
❗️ Где система всё ещё спотыкается?
Поскольку Perplexity работает с открытым вебом, он неизбежно читает и отравленные источники, и AI-generated спам, и искусственный консенсус (когда сто мусорных сайтов перепечатали одну и ту же глупость). Многослойные оценки и кросс проверки неплохо это фильтруют, но защита не 100%. Инфопомойки могут прорываться. Поэтому источники стоит проверять руками, благо их список вам выдают на руки.
Попытка заставить ИИ писать код для проверки самого себя выглядит как самый трезвый подход на сегодня. Шаманский промптинг уступает место инженерии. И да, обратите внимание на силу структурированных ответов JSON и разделение работы на этапы. Оценка данных и генерация ответа пользователю разделены и имеют разных «заказчиков», что принципиально важно при текущей архитектуре LLM.