Jev 1.13 силён в быстрых common-sense суждениях, но может быть буквальным, неточным в числах и датах и чувствительным к лишнему или adversarial-контексту.
Подходит ли вам Jev
Начните с одного проверяемого решения и задайте порог для ручной проверки.
Это архитектурное правило, а не измерение качества модели.
Краткий список ограничений
Ограничения следует рассматривать как правила проектирования. Большую часть рисков уменьшает разбиение задачи, фильтрация state и детерминированная проверка.
- буквальное чтение
- математика и подсчёт
- сравнение дат и времени
- многоуровневая косвенность
- длинный нерелевантный state
- adversarial-контент
- противоречивые инструкции
- структурные инварианты
- генерация текста
Буквальное понимание
Jev отвечает на написанный вопрос, а не на подразумеваемое намерение. Отрицания, ограничения области и пограничные случаи нужно формулировать явно.
Если после ошибки хочется объяснить, что вы имели в виду, добавьте это объяснение в instructions или criteria.
Математика, числа и подсчёт
Jev не калькулятор и не надёжный счётчик. Арифметику, количества, сравнение чисел и точные пороги вычисляйте кодом.
Модель может семантически определить, относится ли элемент к категории, а код затем подсчитает подходящие элементы.
Даты и время
Jev читает даты как текст, а не как упорядоченные величины. Он может извлечь месяц, день или тип даты через Choice, но сравнение, длительность и часовые пояса должен обрабатывать код.
Косвенные инструкции
Двойные отрицания, свойства свойств и длинные цепочки условий снижают точность. Указывайте нужные поля state напрямую и сокращайте число логических переходов.
Лишний контекст
Большой state с нерелевантными деталями действует как отвлекающий сигнал. Сначала выполняйте поиск и фильтрацию, затем отправляйте только необходимые поля.
Adversarial content и prompt injection
State является данными, но модель не считает его враждебным автоматически. Текст, который пытается навязать инструкции или собственную классификацию, может сдвинуть ответ.
Отделяйте доверенные критерии от пользовательского текста, тестируйте атаки и не позволяйте модели обходить права приложения.
Противоречивые критерии и инварианты
Если instructions спрашивает одно, а criteria кодирует обратное, результат становится менее надёжным. Структурные равенства и взаимоисключающие ограничения проверяйте кодом.
Генерация текста
Jev не пишет ответ клиенту, объяснение или код. Используйте обычную LLM для свободного текста, а Jev — для выбора маршрута, тона, шаблона или необходимости генерации.
Безопасный шаблон
Нормализуйте вход, задайте атомарный вопрос, получите типизированный ответ, проверьте схему и порог, затем примените права и бизнес-ограничения кодом. Низкую уверенность направляйте человеку или reasoning-модели.