Сервер под LLM: память, карты и движок, коротко и с данными
Конспект страницы: 6 разделов коротко, данные на 14 октября 2026 и ответы на 3 вопроса. Полный разбор с примерами: Сервер под LLM: память, карты и движок.
Коротко
Сервер под LLM подбирают по видеопамяти: она должна вместить веса модели и кэш контекста всех одновременных запросов. Модель на 8-9 млрд параметров в сжатии Q4 живёт на карте 10-16 ГБ, 70B просит 48-80 ГБ, а MoE-модели на сотни миллиардов параметров требуют нескольких серверных карт. Считайте память так: веса в Q4 примерно 0,6 ГБ на миллиард параметров плюс кэш контекста.
Конспект по разделам
Как посчитать память сервера под LLM
Память складывается из трёх частей. Веса: в FP16 по 2 байта на параметр, в Q8 около одного, в Q4 около 0,6. Кэш контекста (KV-кэш): растёт с длиной окна и с числом запросов, которые сервер обрабатывает одновременно.
Какие видеокарты подходят под LLM: таблица по памяти
На сервер ставят от 1 до 4 карт, и движок делит модель между ними. A100, H100, H200 и L4 на 14 октября 2026 доступны по предзаказу. Цены карт Таймвеб Клауд не публикует: стоимость по запросу, минимальный аванс от 5 000 ₽, списания почасовые.
Какой движок ставить на сервер под LLM
Чем больше одновременных пользователей, тем больше кэша контекста держит движок, поэтому для сервиса на десятки человек память закладывают сверх размера весов.
- Ollama: модель одной командой, OpenAI-совместимый API, удобно для одного человека или небольшой команды.
- vLLM: пакетная обработка, когда запросов много одновременно, деление модели между картами флагом --tensor-parallel-size, ключ API из коробки.
- llama.cpp: файлы GGUF, работа на процессоре и гибрид, когда модель чуть больше видеопамяти.
Как развернуть LLM на сервере по шагам
Если своя модель нужна только для экспериментов, дешевле взять API. AI Gateway Таймвеб Клауд даёт OpenAI-совместимый доступ к современным моделям с оплатой в рублях, и приложение потом переключается на свой сервер сменой адреса.
- Выберите модель и сжатие под задачу и посчитайте память калькулятором выше.
- Создайте сервер с картой на Ubuntu, поставьте драйвер NVIDIA и NVIDIA Container Toolkit.
- Запустите движок в Docker: образ ollama/ollama или vllm/vllm-openai с томом для весов.
- Закройте порт API от интернета, задайте ключ и выведите доступ через прокси с HTTPS.
Дообучение LLM на своём сервере: когда оно нужно
Чтобы модель отвечала по вашим документам, дообучение обычно не нужно: хватает RAG, где документы подставляются в запрос. Дообучают, когда надо закрепить стиль, формат ответа или узкую терминологию. Метод LoRA обучает небольшие матрицы-адаптеры поверх замороженной модели, QLoRA делает то же поверх сжатой версии.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III
Данные
| Видеопамять | Карты у Таймвеб Клауд | Что помещается в Q4 |
|---|---|---|
| 10-16 ГБ | RTX 3080, Tesla T4, A4000 | Модели 8-14 млрд, короткий контекст |
| 24 ГБ | RTX 3090, RTX 4090, A5000, L4 | Qwen3.8 27B, Gemma 4 31B |
| 48 ГБ | A6000 | 70B с небольшим контекстом |
| 80 ГБ | A100, H100 | 70B с запасом, MoE на 100-120 млрд |
| 141 ГБ | H200 | Крупные MoE, несколько моделей сразу |
Данные на 14 октября 2026.
Вопросы и ответы
Сколько оперативной памяти нужно для LLM без видеокарты?
Размер файла модели плюс кэш контекста и 2 ГБ на систему: для 8-9 млрд в Q4 это 8-12 ГБ. Работать будет медленно, такой сервер подходит для проверки, а не для потока клиентов.
Можно ли разделить одну LLM между несколькими видеокартами?
Да. vLLM делит модель флагом --tensor-parallel-size, llama.cpp и Ollama раскладывают слои по картам сами. Карты лучше брать одинаковые и в одном сервере.
Что выгоднее для LLM: свой GPU-сервер или API?
При редких запросах API дешевле: платите только за токены. Свой сервер окупается при постоянной нагрузке или когда данные нельзя отправлять внешнему провайдеру.