ИИ-агент: как проверить результат

9 октября 2026 года Microsoft представила AX Practitioner Playbook — руководство для команд, чьи SDK, API, документацию и инструменты используют ИИ-агенты. Вместе с PDF компания выпустила обучающий навык AX Practitioner.

Не верить одному отчёту агента

Методика предлагает оценивать не убедительность ответа, а выполнение задачи: правильно ли выбран способ работы и действительно ли код собирается и запускается. Microsoft описывает случаи, когда высокая оценка скрывала неработающий результат.

При разборе ошибки важно различать три ситуации: расширение не загрузилось, загрузилось, но не было вызвано, или было вызвано, но использовано неверно. Исправления нужны разные — в документации, инструкциях либо самих инструментах.

С чего начать своей команде

Редакционный вывод: возьмите один небольшой сценарий для собственного продукта, заранее запишите признаки правильного результата и сохраните последовательность действий агента. После изменения документации повторите тот же сценарий. Сравнивайте наблюдаемое поведение, а не обещания модели.

Что доступно и где границы

PDF опубликован в репозитории microsoft/scope. По анонсу, методика не привязана к одной системе оценки; навык помогает разбирать критерии и сценарии. Это не гарантия качества конкретного агента и не независимый тест Microsoft. Мы проверили анонс и ссылку на руководство, но не проводили оценку по полной методике и не устанавливали навык.

Новые слова простыми словами

AX (Agent Experience)

То, насколько успешно ИИ-агент находит и применяет конкретную технологию: документацию, инструменты и способы работы с ней.

Траектория агента

Сохранённая последовательность действий и обращений к инструментам, по которой можно проследить, где возникла ошибка.

---

Проверяемые источники

• Introducing the Agent Experience (AX) Practitioner Playbook