ИИ и нейросети 6 мин чтения

Локальные LLM: как запустить нейросеть на своём компьютере

Локальная LLM – это языковая модель, которая работает на вашем компьютере или сервере компании. Запросы не уходят в чужое облако, интернет для работы не нужен, абонентской платы за токены нет.

На октябрь 2026 это реальная опция даже для малого бизнеса. Открытая модель gpt-oss-20b от OpenAI работает на компьютере с 16 ГБ памяти, а бесплатная программа LM Studio запускает её в несколько кликов.

Ниже разберу, когда локальная модель выгодна, какие модели выбрать, какое нужно железо и как запустить первую за 15 минут.

Локальные LLM: что это и зачем бизнесу

Обычный ChatGPT или ГигаЧат работает на серверах разработчика: вы отправляете текст, получаете ответ. У открытых моделей разработчик выкладывает сами веса, и модель можно скачать и запустить у себя. Что такое LLM в целом, я разбирал в статье LLM простыми словами.

Четыре причины держать модель у себя:

  • Данные не покидают компанию. Договоры, зарплаты, персональные данные клиентов остаются на вашем железе. Это снимает вопрос передачи данных третьим лицам и за границу по 152-ФЗ.
  • Нет зависимости от сервиса. Модель не отключат, не поменяют тариф и не ограничат доступ из России.
  • Предсказуемая цена. Платите один раз за железо и электричество, дальше хоть миллион запросов.
  • Работа без интернета на закрытом контуре: производство, склады, госзаказчики.

Минусы тоже честно: локальная модель слабее топовых облачных, железо под крупные модели дорогое, а настройка и обновление ложатся на вас.

Какие модели можно запустить локально

Открытые модели на октябрь 2026, по карточкам разработчиков:

Модель Размер Лицензия Где запустить
gpt-oss-20b (OpenAI) 21 млрд параметров, 3,6 млрд активных Apache 2.0 Ноутбук или ПК с 16 ГБ памяти
gpt-oss-120b (OpenAI) 117 млрд, 5,1 млрд активных Apache 2.0 Одна видеокарта на 80 ГБ
Qwen3.6-35B-A3B (Alibaba) 35 млрд, 3 млрд активных, окно 262 тыс. Apache 2.0 Мощный ПК или сервер
DeepSeek V4 Flash 284 млрд, 13 млрд активных, окно 1 млн MIT Сервер с несколькими видеокартами
GigaChat 3.5 Ultra (Сбер) 432 млрд параметров MIT Серверный кластер
AliceAI Foundation 80B-A3B (Яндекс) 80 млрд, 3 млрд активных Apache 2.0 Базовая версия без дообучения, для разработчиков

Обратите внимание на активные параметры. Многие современные модели устроены как смесь экспертов: на каждый токен работает только небольшая часть сети. Поэтому gpt-oss-120b с её 117 млрд параметров отвечает заметно быстрее, чем можно ожидать от такого размера.

Про DeepSeek подробно в статье DeepSeek V4, про ГигаЧат в статье ГигаЧат бесплатно.

Какое железо нужно

  • Попробовать и работать одному: ноутбук или ПК с 16 ГБ памяти, модель gpt-oss-20b. Скачивание около 14 ГБ. Подходит Mac на Apple Silicon или компьютер с видеокартой.
  • Отдел из нескольких человек: рабочая станция с мощной видеокартой, модели класса Qwen3.6-35B. Точный объём памяти зависит от сжатия модели, ориентир от 32 ГБ.
  • Компания, нужно качество близкое к облаку: сервер с видеокартой на 80 ГБ под gpt-oss-120b, скачивание около 65 ГБ. Такой сервер можно купить или арендовать в российском облаке.

Совет: прежде чем покупать железо, проверьте нужную модель на арендованном сервере или в облаке. Неделя теста стоит намного меньше видеокарты, которая окажется не нужна.

Как запустить локальную нейросеть: пошагово

Самый простой путь для не-программиста – LM Studio. С июля 2025 программа бесплатна и для дома, и для работы, отдельная коммерческая лицензия не нужна.

  1. Скачайте LM Studio с официального сайта lmstudio.ai и установите.
  2. Откройте поиск моделей, найдите gpt-oss-20b.
  3. Нажмите скачать. Если компьютер не самый мощный, берите 4-битную версию: так советует сама документация LM Studio.
  4. Загрузите модель и пишите в чат, как в ChatGPT. Интернет после скачивания не нужен.
  5. Для интеграций включите локальный сервер: другие программы смогут обращаться к модели по API на вашем компьютере.

Второй популярный вариант – Ollama: программа для командной строки и серверов. Модель запускается одной командой, например ollama run gpt-oss:20b. Ollama удобнее, когда модель нужна боту или внутреннему сервису.

Мой опыт: что я запускаю локально

В разборе звонков отдела продаж расшифровку я делаю локально, открытой моделью faster-whisper. Записи разговоров с клиентами остаются на моём компьютере. Это персональные данные, и отдавать их в чужой сервис ради расшифровки незачем. Дальше расшифровки оценивает языковая модель по 13 пунктам скрипта. За неделю 17–23.08.2026 разобрали 22 заявки и нашли, что второй менеджер перезванивал клиенту через 5,5 часа.

ИИ-консультант для сайта моей компании работает на gpt-oss-120b, но в российском облаке Timeweb. Это промежуточный вариант между своим сервером и зарубежным API: открытая модель, данные в России, железо покупать не нужно. Выходит около 0,25 ₽ за ответ.

Вывод: локальная модель нужна там, где через неё идут чувствительные данные или где запросов очень много. Для остального облако проще.

Частые ошибки при запуске своей модели

  • Ждать уровень топовых облачных моделей. Модель на 20 млрд параметров хорошо пишет письма, пересказывает документы и отвечает по инструкции. Сложную аналитику и большой код она делает заметно хуже. Проверяйте на своих задачах до покупки железа.
  • Брать самую большую модель, которая едва влезла. Если память забита под завязку, ответы идут медленно, и сотрудники бросают инструмент. Лучше модель поменьше, но быстрая.
  • Забыть про обновления. Открытые модели выходят каждые несколько месяцев. Раз в квартал стоит проверить, не появилась ли модель лучше того же размера.
  • Не проверить лицензию. Apache 2.0 и MIT разрешают коммерческое использование. У других моделей бывают ограничения, читайте карточку модели до внедрения.
  • Открыть локальный сервер в интернет. API модели без пароля, доступный снаружи, это дыра. Держите его во внутренней сети компании.

Частые вопросы

Нужен ли программист? Для чата в LM Studio нет. Для бота, интеграции с CRM или поиска по базе документов да, или хотя бы человек, который настроит связку.

Понимают ли открытые модели русский? Да, но по-разному. GigaChat и модели Яндекса обучены с упором на русский язык, у остальных качество стоит проверить на ваших текстах.

Можно ли научить модель на своих документах? Чаще всего дообучение не нужно. Достаточно подключить поиск по базе знаний: модель получает нужные фрагменты документов прямо в запросе. Схема описана в статье RAG простыми словами.

Локальная модель или облако: как выбрать

Ситуация Что выбрать
Тексты, письма, посты без секретов Облачный ГигаЧат или Алиса AI
Договоры, зарплаты, персональные данные Локальная модель или открытая модель в российском облаке
Бот для клиентов на сайте Открытая модель в российском облаке
Закрытый контур без интернета Только локальная модель
Сложный код, глубокая аналитика Топовая облачная модель, если позволяют данные

Хотите понять, какая схема подходит вашей компании и сколько стоит железо под ваши задачи? Приходите на бесплатный разбор на 30 минут. Готовые решения и цены на странице услуг.

Источники

По теме статьиВнедрение ИИ в бизнес: решения и цены
Смотреть услугу →
Максим Бондаренко
Максим Бондаренко

Основатель агентства, Екатеринбург. Внедряю ИИ в бизнес, в маркетинге с 2016 года. Всё, о чём пишу, сначала пробую на своих компаниях. Бесплатный ИИ-аудит →

Созвон бесплатно

Хотите так же у себя? Разберу задачу

30 минут онлайн. Скажу, есть ли смысл внедрять ИИ, примерную цену и срок.

или сразу напишите мне в Telegram

Заявка ушла. Напишу в течение рабочего дня и предложу время для созвона.