Установка vLLM на сервер с видеокартой: коротко и с данными
Конспект страницы: 6 разделов коротко, данные на 14 октября 2026 и ответы на 3 вопроса. Полный разбор с примерами: Установка vLLM на сервер с видеокартой.
Коротко
Установка vLLM делается одной командой uv pip install vllm или запуском Docker-образа vllm/vllm-openai, после чего модель отвечает по OpenAI-совместимому API на порту 8000. vLLM нужен там, где запросов много: он объединяет их в пакеты и выжимает из видеокарты больше ответов, чем движки для одного пользователя. vLLM ставят на Linux с картой NVIDIA от T4 и RTX 20xx. Проще всего запустить его в Docker, сразу задать --api-key и ограничить контекст под память карты, иначе движок не стартует. Карты от T4 до.
Конспект по разделам
Чем vLLM отличается от Ollama и llama.cpp
Все три движка запускают открытые модели и отдают OpenAI-совместимый API. Разница в том, на кого они рассчитаны. Если модель отвечает одному человеку, выигрыш vLLM почти не виден.
Требования vLLM: Linux, Python и видеокарта
У Таймвеб Клауд в списке есть и карты GTX 1080 и 1080 Ti: для vLLM они не подходят по поколению, под него берите T4, RTX 3090, 4090 или серверные A-серии. Какая карта под какой размер модели: аренда видеокарты.
- Система: Linux.
- Python: версии 3.11-3.14.
- Карта NVIDIA: compute capability 7.5 и выше, это T4, RTX 20xx и новее, A100, L4, H100.
- Память карты: веса модели плюс кэш контекста; vLLM по умолчанию резервирует 92% видеопамяти под веса и кэш.
Установка vLLM через uv и первый запуск
- Создайте окружение: uv venv --python 3.12 --seed и source.venv/bin/activate.
- Поставьте vLLM: uv pip install vllm --torch-backend=auto.
- Запустите модель: vllm serve Qwen/Qwen3.5-9B --api-key ваш-ключ.
- Проверьте ответ: curl -H "Authorization: Bearer ваш-ключ" http://localhost:8000/v1/models.
vLLM в Docker и docker compose
Официальный образ vllm/vllm-openai уже содержит CUDA и сервер API. Кэш Hugging Face подключают томом, чтобы веса не качались заново при каждом пересоздании. Флаг --ipc=host (или --shm-size ) нужен для общей памяти между процессами движка.
Настройка vLLM: ключ, память карты и несколько моделей
Один процесс vLLM обслуживает одну модель. Чтобы держать на сервере две модели, запускают два процесса на разных портах и делят между ними память флагом --gpu-memory-utilization, например по 0.45. Документация называет поддержку GGUF экспериментальной и неоптимизированной.
- --max-model-len ограничивает контекст; без него берётся максимум из конфигурации модели, и на одной карте кэш может не поместиться.
- --tensor-parallel-size 2 делит модель между двумя картами одного сервера.
- --api-key или переменная VLLM_API_KEY включает проверку ключа; можно передать несколько ключей для плавной смены.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III
Данные
| vLLM | Ollama | llama.cpp | |
|---|---|---|---|
| Формат моделей | Веса Hugging Face, FP8, AWQ | Свой каталог, импорт GGUF | GGUF |
| Железо | GPU NVIDIA, AMD, Intel | CPU и GPU | CPU, GPU, гибрид |
| Сильная сторона | Много запросов одновременно | Простая установка | Минимум зависимостей |
| Порт по умолчанию | 8000 | 11434 | 9931 |
| Лицензия | Apache 2.0 | MIT | MIT |
Данные на 14 октября 2026.
Вопросы и ответы
Можно ли установить vLLM на Windows?
Нативно нет. Работает через WSL с дистрибутивом Linux или через сторонние сборки, которые проект vLLM не поддерживает. Для Windows без WSL проще Ollama или LM Studio.
Как запустить в vLLM несколько моделей сразу?
Каждая модель получает свой процесс или контейнер на своём порту, а память карты делят флагом --gpu-memory-utilization. Перед ними ставят прокси, который раздаёт запросы по имени модели.
Как закрыть vLLM паролем?
Запустить с --api-key или задать VLLM_API_KEY: запросы без заголовка Authorization получат отказ. Порт 8000 всё равно не публикуйте наружу без HTTPS.