Gemma в Docker и на своём сервере: коротко и с данными
Конспект страницы: 6 разделов коротко, данные на 14 октября 2026 и ответы на 3 вопроса. Полный разбор с примерами: Gemma в Docker и на своём сервере.
Коротко
Gemma в Docker проще всего запустить в контейнере ollama/ollama: команда ollama run gemma4:12b скачивает модель на 8 ГБ, и через минуту у вас OpenAI-совместимый API. Gemma 4 от Google выходит в пяти размерах, от E2B для слабых машин до 31B для карты на 24 ГБ, и распространяется под Apache 2.0. Для сервера без карты берите Gemma 4 E4B, для карты на 12-16 ГБ 12B, для 24 ГБ 26B A4B или 31B.
Конспект по разделам
Какие размеры есть у Gemma 4 и что значат E2B и A4B
Gemma это открытые модели Google DeepMind. В отличие от Gemini, которую Google отдаёт только через свои сервисы, веса Gemma можно скачать и запустить у себя. Все модели Gemma 4 принимают текст и картинки, малые и 12B ещё и звук.
Сколько видеопамяти нужно Gemma 4
Для 26B A4B действует общее правило смеси экспертов: отвечает она почти со скоростью 4-миллиардной модели, а память занимает как 25-миллиардная. Google выкладывает для Gemma 4 официальные сжатые версии QAT в формате GGUF (Q4_0): модель дообучали под сжатие, а не сжимали готовые веса, и такие файлы сразу подходят для llama.cpp. Если карта не нужна вовсе, E2B и E4B работают на процессоре.
Gemma 4 в Docker: Ollama, compose и Model Runner
Самый короткий путь: контейнер Ollama с томом для моделей. В docker compose это один сервис с образом ollama/ollama, томом /root/.ollama и резервированием карты NVIDIA: Без карты блок deploy убирают. Если у вас включён Docker Model Runner, Gemma 4 лежит в каталоге Docker Hub как ai/gemma4 и запускается командой docker model run ai/gemma4.
Gemma 4 на сервере с vLLM для многих пользователей
Когда к модели идут десятки запросов одновременно, её отдают через vLLM в контейнере vllm/vllm-openai: он склеивает запросы в пакеты, выжимает из карты больше ответов в секунду и держит OpenAI-совместимый API на порту 8000. Модель указывают после имени образа, например --model google/gemma-4-12B-it. Контекст 256K не бесплатный Окно в 256 тыс. токенов требует большого кэша.
Лицензия Gemma 4 и доступ по API
Gemma 4 вышла под Apache 2.0: модель можно встраивать в коммерческий продукт, дообучать и распространять производные с указанием лицензии. Для русскоязычного бота важно, что многоязычность у Gemma 4 заявлена прямо: больше 140 языков. Если своя карта не окупается, аналогичные модели берут по API.
Возьмите сервер с видеокартой под модель
Облачный GPU-сервер запускается за 1-2 минуты, оплата почасовая.
- RTX 4090, A5000, A6000, A100, H100
- От 1 до 4 карт на сервер
- Почасовая оплата
- Дата-центры уровня Tier III
Данные
| Модель | Параметры | Контекст | Файл в Ollama |
|---|---|---|---|
| E2B | 2,3 млрд рабочих, 5,1 с эмбеддингами | 128K | 4,6-7,5 ГБ |
| E4B | 4,5 млрд рабочих, 8 с эмбеддингами | 128K | 6,6-9,5 ГБ |
| 12B | 11,95 млрд | 256K | 7,7-8 ГБ |
| 26B A4B | 25,2 млрд, активны 3,8 млрд (MoE) | 256K | 16-19 ГБ |
| 31B | 30,7 млрд, плотная | 256K | 19-20 ГБ |
Данные на 14 октября 2026.
Вопросы и ответы
Как установить Gemma на свой сервер без видеокарты?
Через Ollama: ollama run gemma4:e4b. Файл весит 6,6-9,5 ГБ, модель работает на процессоре при 16 ГБ памяти, но отвечает медленнее, чем на карте.
Можно ли поставить Gemini на свой сервер так же, как Gemma?
Нет. Gemini доступна только через сервисы и API Google, её веса не публикуются. На свой сервер ставят открытую Gemma или консольный агент Gemini CLI, который ходит в API.
Какой образ Docker нужен для Gemma 4 с GPU?
ollama/ollama с флагом --gpus=all или vllm/vllm-openai для многих пользователей. На сервере должен стоять драйвер NVIDIA и NVIDIA Container Toolkit.