BOBER AI
← Все решения
Self-hosted

Self-hosted AI

Полный AI-стек в вашем ЦОД или private cloud: inference, RAG, UI — без зависимости от зарубежных API.

Telegram

Self-hosted AI — развёртывание полного стека inference, embeddings и vector search на инфраструктуре клиента. Bober AI Systems проектирует для Yandex Cloud isolated, Selectel, bare metal в Москве.

Компоненты: vLLM/Ollama для LLM, sentence-transformers для embeddings, Qdrant/pgvector, Open WebUI, optional LangGraph agents. Всё в Docker/K8s с CI/CD.

Sizing зависит от модели (7B vs 70B), QPS и latency SLA. Не продаём лишние GPU — считаем TCO на Discovery.

Обновления моделей — controlled rollout с eval gate. Air-gapped — offline model packages.

Связка с enterprise processes: RAG на регламентах, CRM agents, document OCR — единый private контур.

Бюджет infra + deploy — от 500 000 ₽. Ongoing — hosting и SLA optional.

Когда нужен self-hosted

  • —Compliance запрещает outbound calls к OpenAI/Anthropic
  • —Данные air-gapped или classified internal network
  • —Нужен предсказуемый TCO при высоком объёме токенов
  • —Vendor lock-in на SaaS AI неприемлем

Deliverables

  • —GPU/CPU sizing и deployment LLM (vLLM, Ollama, TGI)
  • —Embedding service + vector database
  • —Open WebUI или API gateway для потребителей
  • —Monitoring, backup, disaster recovery runbook

Этапы

01

Requirements

Models, QPS, latency, network zones, compliance.

02

Hardware/cloud

GPU selection, K8s cluster, storage.

03

Stack deploy

LLM, embed, vector, gateway, UI.

04

Validation

Load test, failover drill, documentation.

Self-hosted stack

  • —K8s cluster (or VM set) with GPU node pool
  • —vLLM / Ollama inference services
  • —Embedding microservice + Qdrant
  • —API gateway + Open WebUI
  • —Prometheus/Grafana monitoring

Эффект

100%

data residency control

−40%

token cost vs public API at scale

4–6 нед.

typical full stack deploy

Связанные кейсы

Email AI Assistant — Kaspersky

Email AI Assistant — Kaspersky

−50% повторных обращений L1

LLM · RAG · JavaScript

Консультанты быстрее закрывают типовые обращения, единообразно отвечают на вопросы о продуктах и тратят больше времени на сложные инциденты и апсейл.

Подробнее о проекте →

FAQ

Minimum hardware?
7B Q4 on 1× GPU 24GB for pilot. Production sizing — individual.
Russian models?
Saiga, GigaChat weights where licensed, multilingual embed.
HA?
Multi-replica inference, DB backups, K8s autoscaling.
MLOps team needed?
We handover runbook. SLA covers ops optionally.
Cloud vs bare metal?
Cloud faster start. Bare metal — lower latency TCO at scale.
Security audit?
Network segmentation, pen test coordination — по запросу.

Связанные услуги

Контакт

Или оставьте заявку

Полный AI-стек в вашем ЦОД или private cloud: inference, RAG, UI — без зависимости от зарубежных API.