← Все решения

Разработка LLM-приложений

От прототипа до production: API, agents, eval и интеграции — не demo на Jupyter.

Telegram

Разработка LLM-приложений — инженерная дисциплина: версии prompts, eval на реальных данных, structured output, fallback и observability. Bober AI Systems строит production-сервисы, а не одноразовые скрипты.

Стек: Python/TypeScript, LangChain/LangGraph, GigaChat или private LLM API, PostgreSQL для state, Redis для cache. Agents вызывают CRM, 1С, search — через MCP или REST.

Каждый LLM-шаг покрываем eval-набором: input → expected JSON → regression в CI. Без этого каждое обновление модели — лотерея.

Примеры: генератор КП с catalog grounding, классификатор тикетов, copilot для менеджера в CRM, multi-step agent для согласования документов.

Срок MVP — 3–5 недель. NDA, on-prem inference — стандарт. Бюджет — от 400 000 ₽.

Discovery помогает отделить «нужен LLM» от «достаточно regex» — экономим бюджет клиента.

Почему LLM-проекты застревают

  • Промпты работают в demo, но ломаются на реальных данных
  • Нет structured output — парсинг ответов ненадёжен
  • Latency и cost не учтены — система не выдерживает нагрузку
  • Отсутствует eval и версионирование prompts

Что разрабатываем

  • LLM-сервис с API, auth и мониторингом
  • Prompt/version management и eval pipeline
  • Agents на LangGraph с tool calling
  • Интеграции CRM, документов, мессенджеров

Процесс разработки

01

Spec и eval set

Сценарии, JSON schema, golden examples, метрики качества.

02

Prototype

Быстрый POC на sample data, проверка latency и cost.

03

Production code

API, retries, caching, logging, feature flags.

04

Handover

Документация, runbook, обучение dev-команды клиента.

LLM app stack

  • API layer: FastAPI / Next.js routes, OpenAI-compatible client
  • Orchestration: LangGraph state machine, tool registry
  • Storage: conversation state, audit log, prompt versions
  • Eval: pytest + LLM judge / exact match on structured fields
  • Deploy: Docker, K8s, CI/CD with eval gate

Результат

3–5 нед.

MVP в production

−60%

время на ручную обработку в целевом сценарии

CI eval

регрессия качества при каждом релизе

FAQ

LangChain или свой код?
LangGraph для agents. Тонкая логика — чистый Python без лишних абстракций.
Какая модель?
GigaChat для RU enterprise. Open-source — при on-prem. Выбор на Discovery.
Structured output?
JSON mode, Pydantic validation, repair loop при parse errors.
Cost control?
Caching, smaller models для простых шагов, batch где возможно.
Передача кода?
Да. Repo клиента, документация, pair programming на handover.
Бюджет?
От 400 000 ₽ за MVP. Agents с интеграциями — от 500 000 ₽.

Связанные услуги

Или оставьте заявку

От прототипа до production: API, agents, eval и интеграции — не demo на Jupyter.