Установка llama.cpp на сервер и компьютер: коротко и с данными
Конспект страницы: 6 разделов коротко, данные на 14 октября 2026 и ответы на 3 вопроса. Полный разбор с примерами: Установка llama.cpp на сервер и компьютер.
Коротко
Установка llama.cpp занимает одну команду: скрипт с llama.app, winget, brew или Docker-образ ghcr.io/ggml-org/llama.cpp:server. Движок запускает модели в формате GGUF на процессоре, видеокарте или на обоих сразу, а встроенный llama-server отдаёт OpenAI-совместимый API и веб-чат. llama.cpp ставят, когда нужен сервер без видеокарты или точный контроль над сжатием и памятью. Для модели до 4 млрд параметров хватит VPS на 4-8 ГБ; сервер открывайте наружу только с --api-key.
Конспект по разделам
llama.cpp: что это и когда его ставят вместо Ollama
llama.cpp это движок на C и C++ без внешних зависимостей. Он умеет сжимать веса до 1,5-8 бит, использует инструкции AVX2, AVX-512 и AMX на x86, Metal на Apple Silicon, CUDA на NVIDIA, HIP на AMD, а также Vulkan и SYCL. Если модель больше видеопамяти, часть слоёв остаётся на процессоре, и она всё равно запускается.
Установка llama.cpp на Linux, Windows и macOS
Новые версии понимают короткие команды: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF скачивает модель с Hugging Face и открывает чат, llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF поднимает API со встроенным веб-интерфейсом. Флаг -hf берёт файл прямо из репозитория, без ручного скачивания.
- Linux и macOS: curl -LsSf https://llama.app/install.sh | sh или brew install llama.cpp.
- Windows: winget install llama.cpp или скрипт PowerShell irm https://llama.app/install.ps1 | iex.
- Готовые архивы лежат на странице релизов GitHub, сборка из исходников описана в docs/build.md.
llama.cpp в Docker: образы server и server-cuda
Проект публикует образы в ghcr.io::server только с llama-server для процессора,:server-cuda и:server-cuda13 для NVIDIA,:server-rocm для AMD, плюс варианты full и light. Сборки есть для amd64 и arm64. Модели монтируются папкой: Для docker compose это сервис с тем же образом, томом /models, портом и аргументами в command.
Настройка llama-server: адрес, ключ и видеокарта
Без флагов llama-server слушает 127.0.0.1:9931, то есть доступен только с самого сервера. Главные параметры: Для доступа из интернета поставьте впереди Caddy с HTTPS, а приложения подключайте к адресу /v1 как к OpenAI.
- --host и --port: адрес и порт, например --host 0.0.0.0 --port 8080.
- --api-key: ключ для запросов, можно несколько через запятую; без него API открыт всем, кто достучится до порта.
- -ngl: сколько слоёв держать в видеопамяти, число, auto (по умолчанию) или all.
- -c: размер контекста; 0 значит взять из модели, а это может съесть всю память.
Сколько ресурсов нужно llama.cpp на VPS
На процессоре память считается просто: размер файла GGUF плюс кэш контекста и запас на систему. Файл Qwen3.5 4B в Q4 весит около 3,3 ГБ, 9B около 6,6 ГБ. Почему для крупных моделей всё же нужна видеокарта, объясняет раздел сервер под ИИ.
Запустите свой сервер за пару минут
Почасовая оплата: тестовый стенд на сутки стоит десятки рублей, а не месячный тариф.
- NVMe-диски и гарантированная доля процессора
- Root-доступ и любой софт, от Docker до игровых серверов
- Маркетплейс: 91 приложение в один клик
- Бесплатный перенос проекта силами специалистов
Данные
| Задача | Что взять |
|---|---|
| Поставить и забыть, модели по имени | Ollama |
| Конкретный файл GGUF, свои флаги памяти и сжатия | llama.cpp |
| Программа с окнами на ПК | LM Studio (внутри тоже llama.cpp) |
| Много одновременных запросов на GPU | vLLM |
Данные на 14 октября 2026.
Вопросы и ответы
Какой образ llama.cpp брать для Docker с CUDA?
ghcr.io/ggml-org/llama.cpp:server-cuda (CUDA 12) или:server-cuda13. На хосте нужны драйвер NVIDIA и NVIDIA Container Toolkit, а в команде флаг --gpus all.
Можно ли запустить в llama.cpp модель больше видеопамяти?
Да. Флаг -ngl задаёт, сколько слоёв уйдёт на карту, остальные посчитает процессор. Работает медленнее, чем целиком на GPU, но быстрее, чем только на процессоре.
Чем llama.cpp отличается от Ollama?
Ollama сама скачивает модели по имени и держит службу, llama.cpp запускает конкретный файл GGUF с флагами, которые вы задаёте. Ollama удобнее, llama.cpp гибче.