Локальная LLM – это языковая модель, которая работает на вашем компьютере или сервере компании. Запросы не уходят в чужое облако, интернет для работы не нужен, абонентской платы за токены нет.
На октябрь 2026 это реальная опция даже для малого бизнеса. Открытая модель gpt-oss-20b от OpenAI работает на компьютере с 16 ГБ памяти, а бесплатная программа LM Studio запускает её в несколько кликов.
Ниже разберу, когда локальная модель выгодна, какие модели выбрать, какое нужно железо и как запустить первую за 15 минут.
Локальные LLM: что это и зачем бизнесу
Обычный ChatGPT или ГигаЧат работает на серверах разработчика: вы отправляете текст, получаете ответ. У открытых моделей разработчик выкладывает сами веса, и модель можно скачать и запустить у себя. Что такое LLM в целом, я разбирал в статье LLM простыми словами.
Четыре причины держать модель у себя:
- Данные не покидают компанию. Договоры, зарплаты, персональные данные клиентов остаются на вашем железе. Это снимает вопрос передачи данных третьим лицам и за границу по 152-ФЗ.
- Нет зависимости от сервиса. Модель не отключат, не поменяют тариф и не ограничат доступ из России.
- Предсказуемая цена. Платите один раз за железо и электричество, дальше хоть миллион запросов.
- Работа без интернета на закрытом контуре: производство, склады, госзаказчики.
Минусы тоже честно: локальная модель слабее топовых облачных, железо под крупные модели дорогое, а настройка и обновление ложатся на вас.
Какие модели можно запустить локально
Открытые модели на октябрь 2026, по карточкам разработчиков:
| Модель | Размер | Лицензия | Где запустить |
|---|---|---|---|
| gpt-oss-20b (OpenAI) | 21 млрд параметров, 3,6 млрд активных | Apache 2.0 | Ноутбук или ПК с 16 ГБ памяти |
| gpt-oss-120b (OpenAI) | 117 млрд, 5,1 млрд активных | Apache 2.0 | Одна видеокарта на 80 ГБ |
| Qwen3.6-35B-A3B (Alibaba) | 35 млрд, 3 млрд активных, окно 262 тыс. | Apache 2.0 | Мощный ПК или сервер |
| DeepSeek V4 Flash | 284 млрд, 13 млрд активных, окно 1 млн | MIT | Сервер с несколькими видеокартами |
| GigaChat 3.5 Ultra (Сбер) | 432 млрд параметров | MIT | Серверный кластер |
| AliceAI Foundation 80B-A3B (Яндекс) | 80 млрд, 3 млрд активных | Apache 2.0 | Базовая версия без дообучения, для разработчиков |
Обратите внимание на активные параметры. Многие современные модели устроены как смесь экспертов: на каждый токен работает только небольшая часть сети. Поэтому gpt-oss-120b с её 117 млрд параметров отвечает заметно быстрее, чем можно ожидать от такого размера.
Про DeepSeek подробно в статье DeepSeek V4, про ГигаЧат в статье ГигаЧат бесплатно.
Какое железо нужно
- Попробовать и работать одному: ноутбук или ПК с 16 ГБ памяти, модель gpt-oss-20b. Скачивание около 14 ГБ. Подходит Mac на Apple Silicon или компьютер с видеокартой.
- Отдел из нескольких человек: рабочая станция с мощной видеокартой, модели класса Qwen3.6-35B. Точный объём памяти зависит от сжатия модели, ориентир от 32 ГБ.
- Компания, нужно качество близкое к облаку: сервер с видеокартой на 80 ГБ под gpt-oss-120b, скачивание около 65 ГБ. Такой сервер можно купить или арендовать в российском облаке.
Совет: прежде чем покупать железо, проверьте нужную модель на арендованном сервере или в облаке. Неделя теста стоит намного меньше видеокарты, которая окажется не нужна.
Как запустить локальную нейросеть: пошагово
Самый простой путь для не-программиста – LM Studio. С июля 2025 программа бесплатна и для дома, и для работы, отдельная коммерческая лицензия не нужна.
- Скачайте LM Studio с официального сайта lmstudio.ai и установите.
- Откройте поиск моделей, найдите gpt-oss-20b.
- Нажмите скачать. Если компьютер не самый мощный, берите 4-битную версию: так советует сама документация LM Studio.
- Загрузите модель и пишите в чат, как в ChatGPT. Интернет после скачивания не нужен.
- Для интеграций включите локальный сервер: другие программы смогут обращаться к модели по API на вашем компьютере.
Второй популярный вариант – Ollama: программа для командной строки и серверов. Модель запускается одной командой, например ollama run gpt-oss:20b. Ollama удобнее, когда модель нужна боту или внутреннему сервису.
Мой опыт: что я запускаю локально
В разборе звонков отдела продаж расшифровку я делаю локально, открытой моделью faster-whisper. Записи разговоров с клиентами остаются на моём компьютере. Это персональные данные, и отдавать их в чужой сервис ради расшифровки незачем. Дальше расшифровки оценивает языковая модель по 13 пунктам скрипта. За неделю 17–23.08.2026 разобрали 22 заявки и нашли, что второй менеджер перезванивал клиенту через 5,5 часа.
ИИ-консультант для сайта моей компании работает на gpt-oss-120b, но в российском облаке Timeweb. Это промежуточный вариант между своим сервером и зарубежным API: открытая модель, данные в России, железо покупать не нужно. Выходит около 0,25 ₽ за ответ.
Вывод: локальная модель нужна там, где через неё идут чувствительные данные или где запросов очень много. Для остального облако проще.
Частые ошибки при запуске своей модели
- Ждать уровень топовых облачных моделей. Модель на 20 млрд параметров хорошо пишет письма, пересказывает документы и отвечает по инструкции. Сложную аналитику и большой код она делает заметно хуже. Проверяйте на своих задачах до покупки железа.
- Брать самую большую модель, которая едва влезла. Если память забита под завязку, ответы идут медленно, и сотрудники бросают инструмент. Лучше модель поменьше, но быстрая.
- Забыть про обновления. Открытые модели выходят каждые несколько месяцев. Раз в квартал стоит проверить, не появилась ли модель лучше того же размера.
- Не проверить лицензию. Apache 2.0 и MIT разрешают коммерческое использование. У других моделей бывают ограничения, читайте карточку модели до внедрения.
- Открыть локальный сервер в интернет. API модели без пароля, доступный снаружи, это дыра. Держите его во внутренней сети компании.
Частые вопросы
Нужен ли программист? Для чата в LM Studio нет. Для бота, интеграции с CRM или поиска по базе документов да, или хотя бы человек, который настроит связку.
Понимают ли открытые модели русский? Да, но по-разному. GigaChat и модели Яндекса обучены с упором на русский язык, у остальных качество стоит проверить на ваших текстах.
Можно ли научить модель на своих документах? Чаще всего дообучение не нужно. Достаточно подключить поиск по базе знаний: модель получает нужные фрагменты документов прямо в запросе. Схема описана в статье RAG простыми словами.
Локальная модель или облако: как выбрать
| Ситуация | Что выбрать |
|---|---|
| Тексты, письма, посты без секретов | Облачный ГигаЧат или Алиса AI |
| Договоры, зарплаты, персональные данные | Локальная модель или открытая модель в российском облаке |
| Бот для клиентов на сайте | Открытая модель в российском облаке |
| Закрытый контур без интернета | Только локальная модель |
| Сложный код, глубокая аналитика | Топовая облачная модель, если позволяют данные |
Хотите понять, какая схема подходит вашей компании и сколько стоит железо под ваши задачи? Приходите на бесплатный разбор на 30 минут. Готовые решения и цены на странице услуг.
Источники
- Hugging Face: gpt-oss-20b, 16 ГБ памяти
- Hugging Face: gpt-oss-120b, одна GPU на 80 ГБ
- Ollama: gpt-oss, размеры скачивания 14 и 65 ГБ
- LM Studio: бесплатно для работы, 08.07.2025
- Hugging Face: Qwen3.6-35B-A3B
- Hugging Face: DeepSeek-V4-Flash, MIT
- LM Studio: как скачать модель
- DeepSeek: V4 Preview, веса на Hugging Face
- Comss: GigaChat 3.5 Ultra, 432 млрд параметров, MIT
- Hugging Face: AliceAI Foundation 80B-A3B Base
- GitHub: faster-whisper
- 152-ФЗ, статья 18
