Anthropic опубликовала инструкцию по созданию надёжных агентов: шесть инженерных правил, каждое против конкретного отказа - закладки вместо окон, подтверждение вместо надежды, гроссбух вместо памяти

🛠 Anthropic научили, как собирать надёжные автоматизации с ИИ-агентами

В блоге Claude на примере фонового бота для дайджестов разобрали фундаментальную инженерную задачу — как спроектировать надежного агента, из каких компонентов его собрать и как связать их между собой, чтобы система не сыпалась в продакшене.
Обычный агент («модель + промпт + тулы») хрупок: он теряет данные между сессиями, опирается на устаревшую информацию, путает упавший API с отсутствием данных и уязвим к промпт-инъекциям.
Надежность строится за счет жесткой связки 6 компонентов:

1️⃣ Агент и Деплоймент — разделение логики и среды
Агент — это только конфиг (модель, инструменты, алгоритм). «Клеем» системы выступает Деплоймент: на каждый запуск он поднимает чистую песочницу, монтирует память, подключает секреты, задает бюджет и передает контекст (например, часовой пояс, чтобы агент не путал даты из-за серверного UTC).

2️⃣ Двухконтурная память — защита правил
Связь между запусками в чистых песочницах держится на внешней памяти, разделенной по правам доступа:
▪️ Контур правил (только чтение): настройки и лимиты от человека. Перечитываются на старте каждого цикла. Если контур недоступен — аварийный стоп, никакой работы «по дефолту».
▪️ Контур состояния (чтение и запись): рабочая память агента — курсоры чтения, реестр обработанного и логи запусков.

3️⃣ Источники и Vault — курсоры вместо тайм-окон
▪️ Изоляция ключей: реальные токены лежат в хранилище вне песочницы. Внутри агент видит лишь заглушки, которые платформа меняет на ключи только на выходе и только для разрешенных доменов.
▪️ Связка с памятью через курсоры: запросы «за последние N часов» при сдвиге запуска дают пропуски или дубли. Агент читает каждый источник строго от таймстампа последней закладки в памяти.
▪️ Честные сбои: если источник отвалился, агент не считает, что «новостей нет» — он оставляет курсор на месте и явно сообщает о сбое сервиса.

4️⃣ Пайплайн агента — верификация перед действием
▪️ Сверка с реестром: агент проверяет ID элементов по памяти, чтобы не обрабатывать одно и то же дважды, а фиксировать только изменения статуса.
▪️ Защита от устаревания: пока агент собирал данные, мир мог измениться. Прямо перед финальным действием он обязан повторно проверить актуальный статус каждого отобранного пункта в источнике.

5️⃣ Точка вывода — двухфазная фиксация в память
Чтобы при сбое сети не потерять данные и не наплодить дублей, действие и память связываются транзакционно: проверить, не выполнено ли действие ранее → записать в лог статус «в процессе» → получить от API явное подтверждение с ID → и только после этого сдвинуть курсоры и обновить реестр.

6️⃣ Защитные контуры — минимум прав и бюджет
Агент читает внешние тексты и уязвим к промпт-инъекциям. Поэтому безопасность вынесена на уровень инфраструктуры: токены чтения и память с правилами — строго read-only, сеть ограничена белым списком хостов, а на каждый запуск стоит жесткий лимит бюджета, чтобы зациклившийся агент не сжег баланс.

📎 Код и конфигурация примера · Claude Managed Agents, бета

#Anthropic #Claude #Агенты
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен