{
  "id": "axiomao:evaluation-methods",
  "edition": "0.1",
  "language": "ru",
  "status": "reference",
  "title": "Методы оценки",
  "description": "Как измерять результаты, непрерывность, вмешательства и расход ресурсов с явными границами выводов.",
  "canonical": "https://axiomao.org/ru/evaluation-methods/",
  "published": "2026-10-14",
  "sections": [
    {
      "id": "outcomes",
      "heading": "Оценивать результаты, а не заявления",
      "paragraphs": [
        "Оценка начинается с вопроса и определённого результата. Для отдельной задачи необходимо установить успешное завершение и подтверждающие его основания. Для организации дополнительно проверяются продолжающиеся обязательства: сохраняется ли корректность принятой работы, обрабатываются ли сроки и получают ли нерешённые вопросы подходящее продолжение. Критерии должны быть понятны до наблюдения результата, иначе возникает соблазн признать успехом любое удобное поведение системы.",
        "TheAgentCompany предоставляет контролируемую среду профессиональных задач, а Vending-Bench исследует длительную согласованность в симулированном бизнесе. Эти среды проверяют разные способности. Хороший показатель бенчмарка и доступная точка сервиса не демонстрируют полную деятельность автономной организации в другом окружении. Чтобы переносить вывод, необходимо объяснить сходство задач, инструментов, ограничений и характера внешних последствий, сохранив существенные различия между условиями."
      ]
    },
    {
      "id": "longitudinal",
      "heading": "Проверять остановки и длительную работу",
      "paragraphs": [
        "Продолжительная оценка исследует последовательности, а не отдельные ответы. Полезные случаи включают перезапуск, задержанный ввод, изменение инструкций, исчерпание ресурсов, недоступного агента и внешнюю операцию с неизвестным исходом. Следует наблюдать сохранение обязательств, сверку состояния и соблюдение полномочий при восстановлении. Для каждого сценария важно определить, какие сведения доступны системе и какие наблюдения позволяют судить о правильности её продолжения.",
        "Наряду с завершённой работой сообщайте вмешательства и неудачные попытки. Фиксируйте прошедшее время, вычисления или токены при доступности данных, внешние расходы и усилия человеческой проверки. Систему, выполнившую задачу после существенной скрытой помощи, нельзя описывать как автономно завершившую её на тех же условиях, что и запуск без помощи. Учёт вмешательств необходим для честного сравнения практической автономности различных вариантов."
      ]
    },
    {
      "id": "horizons",
      "heading": "Осторожно трактовать горизонты времени",
      "paragraphs": [
        "Горизонт выполнения задач METR при 50% успеха выражает сложность через время, обычно необходимое человеку подходящей квалификации для задач, которые система решает с такой вероятностью успеха. Это не означает непрерывной работы ИИ в течение этого времени или успеха в половине произвольных деловых действий. Единица измерения характеризует выбранные задачи и условия, а не календарный срок самостоятельного существования организации.",
        "Используйте показатель вместе с распределением задач, устройством системы и версией. Оценке организации дополнительно нужны сведения об устойчивых полномочиях, обязательствах и восстановлении. Количественные сравнения должны сохранять знаменатели и неопределённость. Несколько успешных демонстраций не устанавливают общую частоту надёжной работы и не обосновывают неограниченное утверждение об автономности. При малом количестве наблюдений особенно важно сообщить точную область подтверждённого механизма и непроверенные случаи."
      ]
    }
  ],
  "references": [
    {
      "label": "Xu et al. (2024). TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks",
      "url": "https://arxiv.org/abs/2412.14161"
    },
    {
      "label": "Backlund & Petersson (2025). Vending-Bench: A Benchmark for Long-Term Coherence of Autonomous Agents",
      "url": "https://arxiv.org/abs/2502.15840"
    },
    {
      "label": "Andon Labs (2025). Vending-Bench 2",
      "url": "https://andonlabs.com/evals/vending-bench-2"
    },
    {
      "label": "Kwa et al. (2025; revised 2026). Measuring AI Ability to Complete Long Software Tasks",
      "url": "https://arxiv.org/abs/2503.14499"
    }
  ],
  "related": [
    "https://axiomao.org/ru/organization-profiles/",
    "https://axiomao.org/ru/research-agenda/",
    "https://axiomao.org/ru/autonomy-and-accountability/"
  ]
}