Графики на странице являются демонстрацией интерфейса, а не независимыми измерениями. Реальные поля намеренно пусты до проведения воспроизводимого теста.
Макет будущего измерения
Условные индексы показывают только будущую структуру сравнения.
| Модель | p50 | p95 | Цена | F1 |
|---|---|---|---|---|
| Jev | — | — | — | — |
| Модель A | — | — | — | — |
| Модель B | — | — | — | — |
Демонстрационный режим. Полосы — условные значения интерфейса. Таблица реальных метрик намеренно пуста: сайт не проводил независимое тестирование моделей.
Статус демонстрационного режима
Условные индексы показывают расположение элементов и переключение сценариев. Они не доказывают скорость, цену или качество Jev относительно других моделей.
Сценарии шаблона
Первая версия показывает маршрутизацию, оценку срочности и фильтрацию. Для реального теста каждый сценарий получит отдельный размеченный набор, метрику и допустимый порог автоматизации.
Задержка p50 и p95
p50 показывает типичный вызов, p95 — медленный хвост. Запуски выполняются в одинаковом регионе, с одинаковой параллельностью и прогревом. Среднего значения недостаточно.
Качество и автоматизация
Accuracy полезна при сбалансированных классах, macro F1 — когда классы различаются по размеру. Дополнительно нужна доля случаев, которые можно автоматизировать при выбранном пороге и допустимой ошибке.
Калибровка уверенности
Прогнозы группируются по диапазонам уверенности и сравниваются с фактической правильностью. Так можно понять, подходит ли confidence для пороговой маршрутизации.
Разбор ошибок
Каждая ошибка хранит вход, ожидаемый класс, ответ, распределение, модель, провайдера и дату. Отдельно отмечаются ошибки API и нарушения схемы.
Методика будущего теста
Датасет делится на открытую разработочную и закрытую тестовую части. Модели, версии, параметры и число повторов фиксируются до запуска. Необработанные результаты публикуются вместе с агрегатами.
Структура набора данных
CSV-схема содержит сценарий, версию набора, модель, провайдера, дату, число примеров и повторов, токены, p50, p95, стоимость, accuracy, macro F1, ошибки API и ссылку на сырые результаты.