Установка Llama на компьютер и сервер: коротко и с данными
Конспект страницы: 6 разделов коротко, данные на 14 октября 2026 и ответы на 3 вопроса. Полный разбор с примерами: Установка Llama на компьютер и сервер.
Коротко
Установка Llama через Ollama занимает одну команду: ollama run llama3.1:8b скачивает модель на 4,9 ГБ и запускает чат. Для ПК подходят Llama 3.2 и 3.1 8B, для сервера с картой Llama 3.3 70B, а Llama 4 Scout и Maverick требуют десятков и сотен гигабайт видеопамяти. Для домашнего ПК берите Llama 3.1 8B или 3.2 3B, для сервера с картой на 48 ГБ Llama 3.3 70B.
Конспект по разделам
Какие версии Llama есть и какую ставить
Meta выпускает Llama открытыми весами. На 14 октября 2026 последняя серия на Hugging Face это Llama 4 от апреля 2025 года; младшие модели при этом остаются в линейке 3.x. По описанию в каталоге Ollama, Llama 3.3 70B отвечает на уровне 3.1 405B при почти вшестеро меньшем размере, поэтому из крупных моделей третьей серии берут обычно её.
Сколько памяти нужно Llama 3 и Llama 4
Llama 4 построена на смеси экспертов: каждое слово считают 17 млрд параметров, поэтому Scout отвечает быстро. Но хранить в памяти приходится все 109 млрд, и файл Scout в Q4 весит 67 ГБ, больше, чем Llama 3.3 70B. Память выбирают по полному размеру, скорость оценивают по активной части.
Как развернуть Llama локально и в Docker
Второй путь: оригинальные веса с Hugging Face и движок vLLM в контейнере vllm/vllm-openai. Репозитории meta-llama закрыты до принятия лицензии на сайте, поэтому контейнеру передают токен HF_TOKEN аккаунта, который её принял. Файлы GGUF для запуска без Python берут для llama.cpp.
- Поставьте Ollama или запустите её контейнер ollama/ollama.
- Скачайте модель: ollama run llama3.2 (3B), ollama run llama3.1:8b или ollama run llama3.3 (70B).
- Подключите программы к API на порту 11434: чат Open WebUI, n8n или свой код с библиотекой openai.
Llama и русский язык: что проверить до запуска
В карточке Llama 3.3 официально поддержаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. У Llama 4 список длиннее, 12 языков, но русского в нём тоже нет. Модель отвечает по-русски, но карточка Llama 4 относит работу на неподдержанных языках к использованию вне назначения и предлагает дообучать модель под нужный язык.
Лицензия Llama: что можно делать с моделью
Llama распространяется под собственной Llama Community License, а не под Apache или MIT. Коммерческое использование разрешено, но компании, у продуктов которой на дату выхода версии было больше 700 млн активных пользователей в месяц, нужно отдельное разрешение Meta. Ещё действуют правила допустимого использования, их ссылка есть в карточке модели.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III
Данные
| Модель | Параметры | Контекст | Файл в Ollama (Q4) |
|---|---|---|---|
| Llama 3.2 | 1B и 3B | 128K | 1,3 и 2,0 ГБ |
| Llama 3.1 | 8B, 70B, 405B | 128K | 4,9 / 43 / 243 ГБ |
| Llama 3.3 | 70B | 128K | 43 ГБ |
| Llama 4 Scout | 109B всего, 17B активных, 16 экспертов | 10M | 67 ГБ |
| Llama 4 Maverick | 400B всего, 17B активных, 128 экспертов | 1M | 245 ГБ |
Данные на 14 октября 2026.
Вопросы и ответы
Как развернуть Llama локально на Windows?
Поставить Ollama установщиком и выполнить ollama run llama3.1:8b в терминале. Для карты на 4-6 ГБ подойдёт llama3.2, она весит 2 ГБ.
Можно ли запустить Llama 4 Scout на одной видеокарте?
Файл Scout в Ollama весит 67 ГБ, поэтому нужна карта на 80 ГБ (A100 или H100) или две по 48 ГБ. На картах для ПК Scout не помещается целиком.
Чем Llama 3.3 70B отличается от Llama 3.1 70B?
Размер тот же, 70 млрд параметров и контекст 128K. Llama 3.3 вышла 6 декабря 2024 года только в инструктивной текстовой версии, а у 3.1 70B есть ещё базовая модель для дообучения.