Облачные модели удобны, но не всегда уместны: конфиденциальные данные, нестабильный интернет, оплата за токены. Локальный запуск решает это — нужен только компьютер с достаточной памятью.

Установка

Ollama — самый простой способ запустить модель локально: одна команда установки и одна команда запуска.

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# запуск модели
ollama run llama3.1:8b

Сколько нужно ресурсов

  • 7–8B параметров — 8–10 ГБ RAM, комфортно на 16 ГБ.
  • 14B — от 16 ГБ RAM или видеокарта на 12 ГБ.
  • 32B и больше — 24+ ГБ видеопамяти; на обычном ноутбуке будет медленно.

HTTP API

Ollama поднимает локальный сервер на порту 11434 — обращаться к нему из PHP можно так же, как к облачному API.

$ch = curl_init('http://localhost:11434/api/generate');
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_POST => true,
    CURLOPT_HTTPHEADER => ['Content-Type: application/json'],
    CURLOPT_POSTFIELDS => json_encode([
        'model' => 'llama3.1:8b',
        'prompt' => 'Объясни в двух предложениях, что такое RAG',
        'stream' => false,
    ]),
]);

$data = json_decode(curl_exec($ch), true);
echo $data['response'] ?? '';

Когда это оправдано

  • Данные не должны покидать компанию.
  • Нужна работа без интернета — в поездке или на изолированном сервере.
  • Большие объёмы однотипной обработки, где облако выходит дорого.

Для сложных рассуждений локальные 8B-модели пока слабее топовых облачных, но для суммаризации, классификации и генерации по шаблону их более чем достаточно.