Установка Mistral на сервер и в Docker: коротко и с данными
Конспект страницы: 6 разделов коротко, данные на 14 октября 2026 и ответы на 3 вопроса. Полный разбор с примерами: Установка Mistral на сервер и в Docker.
Коротко
Установка Mistral у себя начинается с выбора модели: Ministral 3 на 3, 8 или 14 млрд параметров запускается через Ollama на ПК, а Mistral Small 4 и Medium 3.5 требуют сервера с видеокартой и движка vLLM. Почти все открытые модели Mistral AI выходят под Apache 2.0, контекст у новых версий 256 тыс. токенов. Для ПК и небольшого сервера берите Ministral 3 8B: в Ollama файл 6 ГБ.
Конспект по разделам
Какие модели Mistral можно скачать и запустить у себя
Mistral AI публикует веса на Hugging Face, а в каталоге Ollama лежат готовые сжатые сборки. Старая Mistral 7B (версия 0.3) всё ещё доступна командой ollama run mistral, но у неё контекст 32 тыс. токенов и нет картинок на входе, поэтому для новых проектов берут Ministral 3. Все модели из таблицы принимают изображения вместе с текстом.
Сколько памяти нужно моделям Mistral
По карточке Ministral 3 8B в формате FP8 помещается в 12 ГБ видеопамяти, а в сжатии Q4 файл Ollama весит 6 ГБ. Ministral 3 3B занимает 3 ГБ, 14B около 9,1 ГБ. Mistral Medium 3.5 в Ollama весит 80 ГБ.
Mistral в Docker через Ollama
Этот путь удобен на одном сервере для чата и небольшого бота. Когда запросов становится много, модель переносят на vLLM.
- Запустите контейнер Ollama: docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama, для карты NVIDIA добавьте --gpus=all.
- Скачайте модель внутри него: docker exec -it ollama ollama run ministral-3:8b.
- Подключите программы к http://сервер:11434/v1 как к OpenAI-совместимому API и закройте порт от чужих адресов.
Mistral на сервере с vLLM: команда запуска
Карточки Mistral AI дают готовую команду для vLLM. Флаги с mistral в названии говорят движку читать токенизатор и веса в родном формате Mistral: В Docker ту же модель передают контейнеру vllm/vllm-openai после имени образа. Для Medium 3.5 Mistral AI выложила отдельную EAGLE-модель: это маленький «черновик», который предсказывает несколько токенов вперёд и ускоряет ответ в vLLM и SGLang.
Лицензии Mistral и запасной вариант по API
Apache 2.0 у Ministral 3, Small 4 и Large 3 разрешает коммерческое использование и изменения без отчислений. Medium 3.5 вышла под модифицированной MIT: для бизнеса она тоже открыта, но в лицензии есть исключения для компаний с большой выручкой. Прочитайте файл LICENSE в репозитории модели, прежде чем строить на ней платный сервис.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III
Данные
| Модель | Параметры | Лицензия | Русский в списке языков |
|---|---|---|---|
| Ministral 3 | 3B, 8B, 14B | Apache 2.0 | нет |
| Mistral Small 4 | 119 млрд, активны 6,5 млрд (MoE) | Apache 2.0 | да |
| Mistral Medium 3.5 | 128 млрд, плотная | модифицированная MIT | да |
| Mistral Large 3 | 675 млрд, активны 41 млрд (MoE) | Apache 2.0 | нет |
Данные на 14 октября 2026.
Вопросы и ответы
Как запустить Mistral 7B в Docker?
Через контейнер ollama/ollama: docker exec -it ollama ollama run mistral. Файл весит 4,4 ГБ, контекст 32 тыс. токенов. Для новых задач посмотрите Ministral 3 8B того же класса.
Какие модели Mistral официально поддерживают русский?
Русский заявлен в списке языков Mistral Small 4 и Medium 3.5. У Ministral 3 и Large 3 его в списке нет, хотя по-русски они отвечают; проверьте на своих текстах.
Хватит ли VPS без видеокарты для Mistral?
Ministral 3 3B и 8B работают на процессоре при 8 ГБ памяти, но медленно. Для бота с несколькими пользователями берите сервер с картой хотя бы на 16 ГБ.