OpenJarvis: персональный ИИ на ваших личных устройствах

OpenJarvis — это фреймворк с открытым исходным кодом для персональных ИИ‑агентов, который полностью работает на устройстве пользователя. Он предоставляет общие средства для создания агентов на устройстве пользователя, производит оценки с учётом эффективности, а также цикл обучения, который совершенствует модели с использованием локальных данных трассировки.

В 1970–80‑е годы вычислительные системы переместились с мейнфреймов на персональные компьютеры. И произошло это не потому, что ПК стали мощнее, а потому, что они достигли достаточного уровня эффективности для реальных потребностей людей. Сейчас ИИ приближается к аналогичному этапу.

В нашем недавнем исследовании «Intelligence Per Watt» мы выяснили, что локальные языковые модели и локальные ускорители могут точно обрабатывать 88,7 % однократных запросов на общение и рассуждения с интерактивной задержкой, при этом эффективность интеллекта выросла в 5,3 раза с 2023 по 2025 год.

Параллельно стремительно развивается персональный ИИ. Такие фреймворки, как OpenClaw, набрали более 250 000 звёзд на GitHub, вдохновив на создание целого ряда агентов ( PicoClaw , NanoBot , IronClaw , TinyClaw , MimicLaw , ZeroClaw и др.), объединённых общей идеей: ИИ, который работает с вашим личным контекстом и взаимодействует через привычные вам платформы.

Если соединить эти идеи, архитектура становится очевидной: персональный ИИ должен работать на вашем личном устройстве.

Почти во всех современных проектах персонального ИИ локальная составляющая представляет собой тонкий слой оркестрации, в то время как «мозг» находится в чужом дата‑центре. Ваши самые личные данные проходят через облачные API с присущими им задержками, стоимостью и условиями обслуживания.

OpenJarvis был создан, чтобы решить эту проблему.

OpenJarvis — это специализированный фреймворк для персонального ИИ, работающего на ваших личных устройствах. Он предоставляет общие примитивы для создания агентов на устройстве, оценки, учитывающие такие метрики, как энергопотребление, количество операций с плавающей запятой (FLOPs), задержка и стоимость, а также цикл обучения, улучшающий модели с помощью локальных данных трассировки.

Цель проста: сделать возможным создание персональных ИИ‑агентов, которые по умолчанию работают локально, обращаясь к облаку только при крайней необходимости. OpenJarvis призван стать одновременно исследовательской платформой и производственной основой для локального ИИ — по аналогии с PyTorch.

🏢 OpenJarvis: стек персонального ИИ с приоритетом локальной работы

OpenJarvis возник из простого вопроса: что сегодня мешает персональному ИИ работать локально? Мы считаем, что проблема сводится к трём недостающим компонентам в современных системах локального ИИ:

• Общие абстракции. Команды создают индивидуальные стеки, самостоятельно выбирая среди серверов моделей, фреймворков оркестрации, хранилищ памяти, интерфейсов инструментов и конвейеров адаптации. В результате возникает дублирование усилий и хрупкие, несовместимые системы. Отсутствует общепринятый «стек программного обеспечения для локального ИИ» — в отличие от того, что есть для веб‑разработки или мобильных приложений.

• Оценки с учётом эффективности. Системы настроены исключительно на качество выполнения задач, хотя при развёртывании на устройстве необходимо одновременно учитывать ограничения по задержке, энергопотреблению, объёму памяти и стоимости. Эффективность на ноутбуке, работающем от батареи, — не приятный бонус, а жёсткое требование.

• Замкнутый цикл оптимизации. Поскольку большинство ИИ‑систем работают в облаке, отсутствуют компоненты, необходимые для локальной оптимизации: недоступны данные трассировки, веса моделей закрыты, среда выполнения не поддаётся настройке. Из‑за этого практически невозможно исследовать или создавать персональных ИИ‑агентов, совершенствующихся со временем.

Чтобы восполнить эти пробелы, мы разработали OpenJarvis. OpenJarvis представляет собой стек с открытым исходным кодом для персональных ИИ‑агентов, полностью работающих на устройстве. Он задуман как исследовательская платформа и готовая к внедрению инфраструктура и выполняет три основные функции:

🧱 Примитивы для ИИ на устройстве

OpenJarvis построен на пяти основных примитивах. Каждый из них можно независимо тестировать, заменять и оптимизировать либо анализировать в контексте всей системы. Вместе эти примитивы формируют модульные, учитывающие особенности оборудования абстракции, поддерживающие как автономное использование, так и системную композицию.

Архитектура OpenJarvis

Рис. 1. Пять примитивов OpenJarvis («Интеллект», «Движок», «Агенты», «Инструменты и память» и «Обучение») образуют компонуемый, учитывающий особенности оборудования стек для персонального ИИ на устройстве.

🧠 Интеллект: языковые модели на устройстве

Примитив «Интеллект» — это уровень моделей: языковые модели на устройстве, обеспечивающие способности к рассуждению, генерации и пониманию. Недавние успехи в области открытых моделей сделали персональный ИИ на потребительском оборудовании практически осуществимым. Такие семейства, как Qwen , GPT-OSS , Gemma , Granite , GLM , Kimi и другие, охватывают широкий диапазон размеров, длины контекста и профилей эффективности, позволяя подобрать значимые возможности под конкретное оборудование.

OpenJarvis располагается над этим быстро меняющимся ландшафтом, предоставляя единый каталог моделей. Вместо того чтобы заставлять пользователей отслеживать выпуски моделей, количество параметров или компромиссы в объёме памяти, OpenJarvis позволяет им указать требуемые возможности, а затем определяет, что реально может поддержать имеющееся у них оборудование. Цель — не просто предоставить доступ к моделям, но и обеспечить стабильный интерфейс в условиях быстро меняющейся экосистемы, который позволит изучать, как выбор модели (независимо от логики агента или серверной части вывода) влияет на качество выполнения задач, эффективность и персонализацию с течением времени.

⚙️ Движок: вывод с учётом особенностей оборудования

Примитив «Движок» — это слой выполнения: серверная часть вывода, определяющая, как модели фактически работают на устройстве. Локальный вывод сегодня обладает большой мощностью, но фрагментирован: такие серверные части, как Ollama , vLLM , SGLang , llama.cpp , Apple Foundation Models , Exo , Nexa , Mirai Uzu , — каждая из них имеет свои преимущества в зависимости от платформы, объёма памяти и ограничений по производительности.

OpenJarvis предлагает интерфейс, учитывающий особенности оборудования и преодолевающий эту фрагментацию. С помощью команды jarvis init он определяет систему пользователя и рекомендует конфигурацию движка и модели, подходящую для имеющегося оборудования; команда jarvis doctor помогает поддерживать работоспособность этой конфигурации с течением времени.

…

OpenJarvis предоставляет набор компонуемых ролей агентов, разработанных с учётом этих ограничений. Он поддерживает устоявшиеся шаблоны рассуждений, одновременно вводя такие роли, как Оркестратор, который разбивает сложные задачи на подзадачи и делегирует их, и Оперативник — облегчённый исполнитель для повторяющихся рабочих процессов с персональным ИИ. Вместо того чтобы полагаться на единого универсального агента, OpenJarvis позволяет разработчикам комбинировать специализированных агентов для планирования, делегирования и выполнения задач на локальном оборудовании.

🔧 Инструменты и память: связь интеллекта с реальным миром

Примитив «Инструменты и память» — это связующий слой: механизмы, которые соединяют интеллект с внешним миром и с постоянным персональным контекстом. Модели становятся намного полезнее, когда могут извлекать документы, вызывать инструменты, взаимодействовать с другими агентами и работать в тех каналах, где уже действуют пользователи. Проблема в том, что такие интеграции часто бывают непоследовательными, зависят от облака или сложны в объединении.

OpenJarvis обеспечивает шаблон взаимодействия с приоритетом локальности как для инструментов, так и для памяти. Он включает встроенную поддержку:

• MCP (Model Context Protocol) для стандартизированного использования инструментов;
• Google A2A (Agent-to-Agent) для взаимодействия между агентами;
• семантического индексирования для локального поиска по статьям, заметкам и документам.

Кроме того, он подключается к широкому спектру платформ обмена сообщениями, веб‑чату и вебхукам. В результате получается система, интеллект которой опирается на реальную среду пользователя, при этом хранение данных и контроль по умолчанию остаются локальными.

📚 Обучение: самосовершенствующиеся системы

Примитив «Обучение» — это слой адаптации: механизмы, помогающие системе совершенствоваться со временем. Такие методы, как контролируемая тонкая настройка, LoRA, GRPO и маршрутизация на основе бандита, сделали улучшение моделей и агентов более доступным, но в большинстве систем они остаются отделёнными от повседневного использования. Персональный ИИ должен не просто работать локально, но и обучаться локально на основе накопленных взаимодействий и обратной связи.

OpenJarvis воплощает эту идею в виде рабочего цикла. Его слой обучения использует персональные данные трассировки для синтеза обучающих данных, совершенствования поведения агентов и улучшения выбора моделей с течением времени. Команды вроде jarvis optimize упаковывают этот процесс в удобный рабочий поток.

⚡ Эффективность как первостепенная метрика

Большинство фреймворков для ИИ рассматривают эффективность как второстепенный аспект. OpenJarvis переворачивает эту парадигму: энергопотребление и стоимость изначально являются первостепенными ограничениями проектирования наряду с точностью.

OpenJarvis включает аппаратно-независимую систему телеметрии, которая профилирует энергопотребление на графических процессорах NVIDIA (через NVML), AMD и Apple Silicon (через powermetrics), производя выборку с интервалом в 50 мс. Команда jarvis benchобеспечивает стандартизированное тестирование задержки, пропускной способности и энергопотребления на запрос. Встроенная панель мониторинга визуализирует экономию средств, сравнение моделей и показатели эффективности в реальном времени.

Рис. 2. Панель мониторинга OpenJarvis обеспечивает наглядность в реальном времени по таким показателям, как задержка вывода, энергопотребление, экономия средств и производительность моделей в локальных и облачных конфигурациях.

🔒 Обучение на основе локальных данных трассировки

Поскольку выполнение происходит локально, а данные трассировки взаимодействия остаются на устройстве, OpenJarvis фиксирует подробные структурированные данные трассировки на каждом уровне стека — от телеметрии вывода и пар «запрос‑ответ» до траекторий принятия решений агентами и последовательностей вызовов инструментов. Эта локальная инфраструктура трассировки позволяет осуществлять замкнутую оптимизацию на четырёх уровнях стека:

• Веса модели — градиентные обновления, включая SFT, GRPO, DPO и другие методы обучения с подкреплением на основе обратной связи от человека, которые напрямую настраивают локальные параметры модели.
• Промты для языковых моделей — стратегии оптимизации промптов, такие как DSPy, которые автоматически совершенствуют инструкции и примеры для улучшения выполнения задач без изменения весов модели.
• Логика агентов — подходы к оптимизации на уровне агентов, такие как GEPA, которые улучшают способы декомпозиции задач, выбора инструментов и координации субагентов.
• Движок вывода — настройка на уровне движка, включая выбор квантования, планирование пакетов и конфигурацию аппаратных ядер.

🚀 Что можно делать с OpenJarvis?

OpenJarvis можно использовать:

• из командной строки (jarvis ask, jarvis chat);
• через браузерную панель мониторинга со встроенным веб‑чатом;
• с помощью десктопного приложения на базе Tauri для macOS, Linux и Windows.

Рис. 3. OpenJarvis поддерживает взаимодействие через командную строку, браузерную панель мониторинга, десктопное приложение и более 26 каналов обмена сообщениями.

Вот несколько примеров использования:

• Персональные ИИ‑задачи. Сортировка электронной почты, утренние сводки, ежедневные дайджесты и запланированные резюме, работающие по расписанию cron без облачной зависимости. Направьте OpenJarvis на папку с научными статьями или заметками — и он создаст локальную базу знаний для ответов на вопросы и исследований. Подключите его к своим платформам обмена сообщениями и взаимодействуйте через iMessage, Telegram, WhatsApp или любые другие привычные вам сервисы. Важно, что все ваши личные данные, документы, сообщения и настройки остаются на вашем устройстве — в отличие от облачных систем, отправляющих всё на внешние серверы.
• Традиционные рабочие нагрузки для языковых моделей. Свободные беседы, математические и научные рассуждения, генерация кода, ответы на вопросы, требующие глубоких знаний, и создание структурированных выходных данных — всё это выполняется локально с отслеживанием энергопотребления и затрат на каждый запрос.

🤝 Присоединяйтесь

OpenJarvis — это первый шаг к созданию базовой платформы для персонального ИИ на личных устройствах. По мере того как локальные модели и потребительское оборудование становятся всё более производительными, нам нужна улучшенная инфраструктура для запуска ИИ‑агентов на устройствах, снижающая зависимость от облачных API и сохраняющая ваши самые личные данные именно там, где они должны быть. OpenJarvis распространяется с открытым исходным кодом под лицензией Apache 2.0, поскольку инструменты для изучения и создания ИИ с приоритетом локальности должны быть доступны каждому, а эти задачи слишком масштабны для решения одной лабораторией.

Если вы исследователь, разработчик или пользователь — мы будем рады видеть вас в числе участников.

• Исследователи. Мы видим большие возможности для дальнейших исследований, включая усовершенствование локальных языковых моделей, эффективных архитектур агентов, управления памятью в системах на устройстве и подходов к обучению, которые совершенствуются в процессе использования с сохранением конфиденциальности. OpenJarvis предоставляет оценочный механизм, охватывающий более 30 бенчмарков, и мы будем рады, если вы воспользуетесь им для измерения и продвижения прогресса.
• Разработчики. Мы призываем вас создавать решения на базе OpenJarvis и помогать нам понять, где находятся реальные узкие места. Какие варианты использования наиболее важны? Где производительность не соответствует ожиданиям? Посетите наш GitHub , чтобы начать работу. Мы приветствуем PR, расширяющие экосистему.
• Пользователи. Попробуйте OpenJarvis в деле и поделитесь впечатлениями. Направьте его на свои файлы, подключите к платформам обмена сообщениями и расскажите, что работает, а что нет. Самый быстрый способ начать:

# Установка
git clone https://github.com/open-jarvis/OpenJarvis.git
cd OpenJarvis
uv sync                           # основной фреймворк
uv sync --extra server            # + сервер FastAPI

# Запускаем!
jarvis init          # автоматическое определение оборудования, рекомендация движка
jarvis doctor        # проверка конфигурации
jarvis ask "Какова столица Франции?"

🙏 Благодарности

Мы выражаем признательность Ollama , IBM Research , Laude Institute , Stanford Marlowe , Stanford HAI , Google Cloud Platform , Lambda Labs , Stanford NLP и Stanford AI Lab за щедрую поддержку.

OpenJarvis является частью исследовательской инициативы «Intelligence Per Watt» , изучающей эффективность систем ИИ на устройствах. Проект разрабатывается в Hazy Research и Scaling Intelligence Lab в Стэнфордском университете.

Полный список авторов

Jon Saad-Falcon, Avanika Narayan, Herumb Shandilya, Hakki Orhun Akengin, Robby Manihani, Gabriel Bo, John Hennessy, Christopher Ré, Azalia Mirhoseini