Jev управляет мышью и клавиатурой на Mac
Программа читает экран и задаёт Jev ограниченный вопрос о следующем действии. Свободный текст и сложное чтение экрана при необходимости передаются отдельной модели.
Что это решает
typesafe-computer-use превращает экран компьютера в ограниченное состояние, просит Jev выбрать следующее действие и затем управляет мышью или клавиатурой. Для свободного ввода текста может привлекаться отдельная пишущая модель.
Автоматизировать действия на экране с подтверждением шага
От картинки к действию
Программа захватывает экран, извлекает элементы и текст, а также формирует кандидатов на следующий шаг. Jev делает Choice среди разрешённых вариантов; исполнитель действует в реальном интерфейсе. Когда нужен новый текст в поле или экран требует развернутого прочтения, включается другой провайдер, потому что Jev не предназначен для генерации текста.
Почему это не полностью автономный универсальный агент
Планирование, извлечение текста, работа с датами и разрешение неоднозначностей программируются отдельно. Автор сам отмечает: задачи, которые большая мультимодальная модель может решить из изображения целиком, здесь часто требуют дополнительного детерминированного кода.
Инструмент управляет настоящей мышью и клавиатурой. Поэтому автор рекомендует сначала dry run. Основная платформа — macOS; поддержка Windows обозначена как экспериментальная.
Как интерпретировать сравнение стоимости
README содержит авторское сравнение одного шага со сценариями на большой модели. Оно показывает экономику конкретной конфигурации и включает отдельные допущения; его нельзя превращать в универсальное обещание скорости или цены для любого приложения.
Как попробовать самому
- 01Проверить требования README: macOS 14+, Python 3.12+ и uv; затем установить проект.
- 02Добавить TYPESAFE_API_KEY и запустить сначала безопасную задачу без
--act. - 03Только после просмотра предполагаемых действий разрешить выполнение на отдельном тестовом профиле браузера.
Ограничение этого проекта
Инструмент способен кликать и вводить текст в реальные приложения. Не начинайте с оплаты, удаления или отправки данных; проверьте разрешения и используйте тестовую среду.