Локальний сервер LLM для агента: покрокова інструкція
Запустіть локальний сервер LLM для агента з Ollama або vLLM: встановлення, модель, контекст і виклики інструментів, а також перевірка перед тим, як довіряти.
Щоб запустити локальний сервер LLM для агента, встановіть Ollama (найпростіше) або vLLM (створений для пропускної здатності на GPU-машині), запустіть одну модель, вкажіть агенту локальну адресу і збільшіть вікно контексту, перш ніж тестувати виклики інструментів. Робочу точку доступу можна мати за десять хвилин. Щоб вона поводилася як бекенд агента, знадобиться трохи більше часу.
Навіщо це? Промпти й файли залишаються на вашому обладнанні, і ви перестаєте платити за токени під час експериментів. Ціна в тому, що сервер тепер ваш.
З якого сервера почати?
Коротко: Ollama на ноутбуці або робочій станції, vLLM на Linux-машині з GPU, до якої одночасно звертатимуться кілька людей або агентів. Наше порівняння Ollama і vLLM розглядає це детальніше. Якщо не впевнені, почніть з Ollama. Перейти пізніше легко, бо обидва вміють говорити мовою API у стилі OpenAI.
Як налаштувати Ollama?
README Ollama перелічує способи встановлення: shell-скрипт на macOS і Linux, команду PowerShell на Windows, ручний інсталятор або офіційний Docker-образ ollama/ollama. Потім завантажте і запустіть модель:
ollama run gemma4
Ця команда є прикладом із самого README. Бібліотека моделей розміщена на ollama.com/library, тож виберіть ту, що вміщується у вашу пам'ять.
За замовчуванням сервер слухає 127.0.0.1, порт 11434, а ендпоінт чату це /api/chat. Звертатися до нього може лише ваш комп'ютер, і це розумний варіант за замовчуванням. У FAQ Ollama сказано, що адресу прив'язки змінює змінна середовища OLLAMA_HOST. Робіть це лише в мережі, якою ви керуєте, і ставте перед сервером автентифікацію, бо сервер моделі без входу є відкритими дверима до вашого заліза.
Як налаштувати vLLM?
Швидкий старт vLLM передбачає Linux і Python від 3.11 до 3.14. Для GPU від NVIDIA задокументоване встановлення виглядає так:
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels
Потім запустіть модель:
vllm serve Qwen/Qwen2.5-1.5B-Instruct
Сервер відповідає на http://localhost:8000 з маршрутами, сумісними з OpenAI, як-от /v1/models і /v1/chat/completions. Щоб змінити адресу, використовуйте --host і --port, а щоб вимагати ключ, --api-key (або змінну VLLM_API_KEY). У документації є й інші апаратні варіанти, зокрема AMD ROCm і Google TPU, а Apple Silicon працює через окремий проєкт vLLM-Metal.
Як підключити агента?
Більшість фреймворків для агентів приймають базову URL у стилі OpenAI. Із офіційним клієнтом openai для Python швидкий старт vLLM показує такий шаблон:
from openai import OpenAI
client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
Підставте назву вашої моделі й надішліть запит у чат. Якщо ваш фреймворк звертається до Ollama напряму, використовуйте його рідний ендпоінт на порту 11434.
Тримайте агента, сервер моделі та інструменти як окремі частини. Так модель можна змінити без переписування агента.
Які налаштування важливі для агентів?
Два налаштування викликають більшість скарг на кшталт «мій локальний агент дурний».
Довжина контексту
Агенти запихають інструкції, результати інструментів та історію в один промпт, а мале вікно мовчки обрізає його. Сторінка про довжину контексту в Ollama каже, що значення за замовчуванням залежать від VRAM: 4k токенів для карток менш ніж на 24 GiB, 32k для карток від 24 до 48 GiB, 256k для більших. Вона рекомендує щонайменше 64 000 токенів для агентів, вебпошуку та інструментів для коду і показує, як це налаштувати:
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
Після цього запустіть ollama ps. Колонка CONTEXT показує, скільки насправді виділено, а колонка PROCESSOR показує, чи модель частково перейшла на CPU, що все уповільнює.
Виклики інструментів
Документація Ollama щодо викликів інструментів описує цикл, який виконує агент: надіслати описи інструментів, отримати запис tool_calls, виконати функцію, повернути результат у повідомленні tool і повторювати, доки відповідь не міститиме викликів.
vLLM потребує явних прапорців. Його посібник із викликів інструментів вимагає --enable-auto-tool-choice і --tool-call-parser, який відповідає вашій моделі (наприклад, hermes або llama3_json). Багатьом моделям також потрібен шаблон чату, що розуміє інструменти. Та сама сторінка попереджає, що менші моделі часто не видають виклики у правильному форматі і що за "auto" аргументи можуть бути зіпсовані, якщо ви не використовуєте строгі інструменти.
Як перевірити перед тим, як довіряти?
- Напишіть п'ять реальних завдань. Беріть ті, що є у вашій роботі, а не бенчмарк.
- Запустіть кожне тричі. Локальні моделі відрізняються від запуску до запуску.
- Логуйте кожен виклик інструмента. Перевіряйте назви та аргументи, а не лише фінальні відповіді.
- Дайте одне завдання, яке має провалитися. Хороша конфігурація відмовляється або перепитує, погана вигадує.
- Стежте за пам'яттю. Якщо модель переходить на CPU, зменште контекст або модель.
А як щодо безпеки?
Тримайте сервер на localhost, доки вам не знадобиться інакше. Якщо ви відкриваєте його назовні, вимагайте ключ, налаштуйте правило брандмауера і не дозволяйте агенту виконувати shell-команди або записувати файли без кроку затвердження людиною, поки ви ще тестуєте.
FAQ
Чи можна запустити ШІ-агента повністю офлайн?
Так, якщо модель, сервер і ваші інструменти локальні. Усе, що агент тягне з вебу, очевидно потребує з'єднання.
Ollama чи vLLM: що швидше?
vLLM створений для обслуговування багатьох запитів одночасно на GPU. Для однієї людини на ноутбуці Ollama простіший і достатньо швидкий. Вимірюйте на своєму завданні.
Яка модель потрібна для викликів інструментів?
Єдиної відповіді немає. Документація vLLM зазначає, що менші моделі часто неправильно форматують виклики, тож перевірте свої реальні інструменти з моделлю, яку плануєте використовувати.
Чи потрібен GPU?
Для Ollama на невеликій моделі ні, але відповіді будуть повільними. Задокументоване встановлення vLLM орієнтоване на GPU та інші прискорювачі.
Переглядайте більше інструментів для агентів та інфраструктури в хабі AI Agents & Infrastructure або в каталозі продуктів Woodander. Ваш наступний крок: запустіть сьогодні одну невелику модель і прогоніть на ній ваші п'ять тестових завдань.
