ИИ может помнить прошлую работу и всё равно повторять старую ошибку. В новом разборе Anthropic показывает, почему памяти нужен не только архив, но и пересмотр записей.
Вы уже объясняли помощнику, как устроен ваш проект. Он это сохранил и через несколько дней уверенно повторил устаревшее правило. Память сработала, но пользы не принесла: модель запомнила то, что больше нельзя использовать.
6 ноября Anthropic опубликовала подробный разбор памяти агентов Claude. Особенно интересно, как агент возвращается к прошлому опыту и меняет свои записи.
Под dreaming понимают отдельную работу с накопленными журналами и заметками: агент пересматривает их, ищет ошибки и формирует более полезные записи для следующих задач. Слово «сон» здесь служит метафорой: агент организует доступный ему контекст, веса самой модели при этом не меняются.
В публикации разобраны несколько слоёв памяти: исходные записи разговоров, короткие заметки, связанные страницы знаний и сведения, которые подгружаются в начале новой сессии. У каждого слоя своя роль.
Журнал позволяет вернуться к тому, что произошло. Заметка быстрее напоминает важное правило. Связанная база помогает найти отношения между документами. А краткое начало сессии должно сообщать только то, без чего трудно продолжить работу.
Потому что вместе с полезными сведениями в архив попадают предположения, временные состояния и ошибки. Если агент каждый раз читает их как действующие правила, объём памяти растёт быстрее её качества.
Anthropic приводит наглядный пример из игры Pokémon: агент неверно записал расположение важного места и затем действовал по этой ошибочной заметке. Пересмотр исходного журнала позволил исправить запись и изменил дальнейший маршрут.
В рабочем проекте аналогичная ошибка может выглядеть прозаичнее. Условная студия сначала обещала готовить предложение за несколько дней, затем изменила порядок согласования. Если в памяти осталась старая запись, помощник будет продолжать сообщать клиенту прежний срок.
Здесь полезно хранить не только вывод, но и его основание: кто сообщил правило, к какой задаче оно относится и где проверить актуальную версию. Это помогает отличить постоянную договорённость от разового решения.
Для начала полезно разделить факты проекта, текущие задачи и рабочие предположения. Затем проверить, может ли помощник найти исходное подтверждение важной записи и заменить её после изменения условий.
Попробуйте небольшой сценарий на вымышленных данных:
Так вы увидите, как с изменением справляется ваш конкретный помощник. В публикации Anthropic есть примеры, где связанные базы помогали, и случаи, где они разрастались без заметной пользы.
Сам по себе большой контекст нейросети тоже не решает задачу актуальности. А если работают несколько помощников, важно ещё договориться, кто и как меняет общие сведения. Это разбираем в разборе многоагентных систем.
