Установка Qwen локально: какую модель взять и как запустить, коротко и с данными
Конспект страницы: 6 разделов коротко, данные на 14 октября 2026 и ответы на 3 вопроса. Полный разбор с примерами: Установка Qwen локально: какую модель взять и как запустить.
Коротко
Установка Qwen локально проще всего через Ollama: команда ollama run qwen3.5:9b скачивает модель на 6,6 ГБ и запускает чат. Для сервера с видеокартой подходит Qwen3.8 27B, для слабого ПК младшие Qwen3.5 на 0,8-4 млрд параметров; открытые версии выходят под Apache 2.0. Для ПК с картой 8 ГБ берите Qwen3.5 9B, для карты на 24 ГБ Qwen3.8 27B или Qwen3.6 35B-A3B.
Конспект по разделам
Какие модели Qwen открыты и чем они отличаются
Alibaba выпускает Qwen сериями, и у каждой серии несколько размеров. Буквы A с числом в названии означают смесь экспертов (MoE): 35B-A3B хранит 35 млрд параметров, а на каждый токен задействует 3 млрд. Все модели ниже принимают изображения вместе с текстом, кроме самой большой Qwen3.8.
Сколько памяти нужно Qwen на ПК и сервере
Ориентир дают файлы из каталога Ollama в сжатии Q4: Qwen3.5 0,8B весит 1,2 ГБ, 4B около 3,3 ГБ, 9B 6,6 ГБ, Qwen3.8 27B 18 ГБ, Qwen3.6 35B-A3B 23 ГБ, Qwen3.5 122B-A10B 81 ГБ. К весам добавляется кэш контекста, и на длинных документах он растёт сильнее, чем кажется по размеру файла. MoE-модель Qwen3.6 35B-A3B отвечает со скоростью небольшой модели, но память просит за все 35 млрд параметров.
Как развернуть Qwen локально через Ollama
У Qwen3.8 режим рассуждений включён по умолчанию: модель сначала думает, потом отвечает. Карточка модели разрешает выключать его в отдельном запросе, это ускоряет короткие ответы для бота.
- Поставьте Ollama установщиком для Windows и macOS или скриптом на Linux.
- Выберите размер под память: ollama run qwen3.5:4b для ноутбука без карты, ollama run qwen3.5:9b для карты на 8 ГБ, ollama run qwen3.8 для 24 ГБ (тег по умолчанию скачивает 27B).
- Проверьте ответы на русском на своих задачах: младшие модели заметно чаще путают падежи и факты.
Qwen на сервере с vLLM: контекст и параллельные запросы
Когда к модели обращаются несколько человек или бот с потоком клиентов, Ollama меняют на vLLM: он обрабатывает запросы пачками и держит OpenAI-совместимый API. Карточка Qwen3.6 35B-A3B прямо рекомендует для рабочей нагрузки SGLang, KTransformers или vLLM. Контекст по умолчанию 262 144 токена vLLM резервирует под окно кэш, и на одной карте запуск может упасть с нехваткой памяти.
Qwen по API, если своя карта не окупается
Самые большие Qwen (397B-A17B и 2,4T-A95B) у себя запускают единицы. Если нужна их точность, проще платить за токены. Платформа AI-агентов Таймвеб Клауд на 14 октября 2026 включает модели Qwen и DeepSeek, а AI Gateway даёт OpenAI-совместимый доступ с оплатой в рублях.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III
Данные
| Серия | Размеры | Лицензия |
|---|---|---|
| Qwen3.5 (февраль 2026) | 0,8B, 2B, 4B, 9B, 27B, 35B-A3B, 122B-A10B, 397B-A17B | Apache 2.0 |
| Qwen3.6 (апрель 2026) | 27B, 35B-A3B | Apache 2.0 |
| Qwen3.8 (август 2026) | 27B | Apache 2.0 |
| Qwen3.8-Flash-Next | 125 млрд, активны 6 млрд | Qwen Community 1.0 |
| Qwen3.8-2.4T-A95B | 2,4 трлн, активны 95 млрд | отдельная лицензия Qwen3.8-Max |
Данные на 14 октября 2026.
Вопросы и ответы
Как развернуть Qwen 3.8 локально на одной видеокарте?
Qwen3.8 27B в Ollama весит 18 ГБ и помещается на карту с 24 ГБ: ollama run qwen3.8. Для vLLM в полной точности файл весит 56 ГБ, это уже карта на 80 ГБ, а контекст задают флагом --max-model-len.
Какой Qwen запустится на ноутбуке без видеокарты?
Qwen3.5 на 0,8-4 млрд параметров: файлы весят 1,2-3,3 ГБ и работают на процессоре при 8 ГБ оперативной памяти. Отвечают они медленнее и проще, чем 9B и старше.
Можно ли использовать Qwen в коммерческом продукте?
Модели под Apache 2.0 (Qwen3.5, Qwen3.6 и Qwen3.8 27B) можно. У Qwen3.8-Flash-Next и 2,4T-A95B свои лицензии, их условия читайте до запуска в продакшен.