# Методы оценки

Как измерять результаты, непрерывность, вмешательства и расход ресурсов с явными границами выводов.

Concept ID: axiomao:evaluation-methods
Language: ru
Status: reference
Reference edition: 0.1
Canonical: https://axiomao.org/ru/evaluation-methods/
Published: 2026-10-14

## Оценивать результаты, а не заявления

Оценка начинается с вопроса и определённого результата. Для отдельной задачи необходимо установить успешное завершение и подтверждающие его основания. Для организации дополнительно проверяются продолжающиеся обязательства: сохраняется ли корректность принятой работы, обрабатываются ли сроки и получают ли нерешённые вопросы подходящее продолжение. Критерии должны быть понятны до наблюдения результата, иначе возникает соблазн признать успехом любое удобное поведение системы.

TheAgentCompany предоставляет контролируемую среду профессиональных задач, а Vending-Bench исследует длительную согласованность в симулированном бизнесе. Эти среды проверяют разные способности. Хороший показатель бенчмарка и доступная точка сервиса не демонстрируют полную деятельность автономной организации в другом окружении. Чтобы переносить вывод, необходимо объяснить сходство задач, инструментов, ограничений и характера внешних последствий, сохранив существенные различия между условиями.


## Проверять остановки и длительную работу

Продолжительная оценка исследует последовательности, а не отдельные ответы. Полезные случаи включают перезапуск, задержанный ввод, изменение инструкций, исчерпание ресурсов, недоступного агента и внешнюю операцию с неизвестным исходом. Следует наблюдать сохранение обязательств, сверку состояния и соблюдение полномочий при восстановлении. Для каждого сценария важно определить, какие сведения доступны системе и какие наблюдения позволяют судить о правильности её продолжения.

Наряду с завершённой работой сообщайте вмешательства и неудачные попытки. Фиксируйте прошедшее время, вычисления или токены при доступности данных, внешние расходы и усилия человеческой проверки. Систему, выполнившую задачу после существенной скрытой помощи, нельзя описывать как автономно завершившую её на тех же условиях, что и запуск без помощи. Учёт вмешательств необходим для честного сравнения практической автономности различных вариантов.


## Осторожно трактовать горизонты времени

Горизонт выполнения задач METR при 50% успеха выражает сложность через время, обычно необходимое человеку подходящей квалификации для задач, которые система решает с такой вероятностью успеха. Это не означает непрерывной работы ИИ в течение этого времени или успеха в половине произвольных деловых действий. Единица измерения характеризует выбранные задачи и условия, а не календарный срок самостоятельного существования организации.

Используйте показатель вместе с распределением задач, устройством системы и версией. Оценке организации дополнительно нужны сведения об устойчивых полномочиях, обязательствах и восстановлении. Количественные сравнения должны сохранять знаменатели и неопределённость. Несколько успешных демонстраций не устанавливают общую частоту надёжной работы и не обосновывают неограниченное утверждение об автономности. При малом количестве наблюдений особенно важно сообщить точную область подтверждённого механизма и непроверенные случаи.


## Sources

- [Xu et al. (2024). TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks](https://arxiv.org/abs/2412.14161)
- [Backlund & Petersson (2025). Vending-Bench: A Benchmark for Long-Term Coherence of Autonomous Agents](https://arxiv.org/abs/2502.15840)
- [Andon Labs (2025). Vending-Bench 2](https://andonlabs.com/evals/vending-bench-2)
- [Kwa et al. (2025; revised 2026). Measuring AI Ability to Complete Long Software Tasks](https://arxiv.org/abs/2503.14499)

## Related

- https://axiomao.org/ru/organization-profiles/
- https://axiomao.org/ru/research-agenda/
- https://axiomao.org/ru/autonomy-and-accountability/