Privacy-aware LLM Gateway · корпоративная маршрутизация

Мы знаем, куда идёт
каждый prompt —
и почему.

IAM.Router классифицирует чувствительность запроса и маршрутизирует между local, on-prem и external — оптимизируя приватность и стоимость токенов. Каждое решение объяснимо.

3 контураlocal / on-prem / external
Tier 0–3каскад классификации
152-ФЗ · КИИсувер. деплой
iam-router / decision · live
req req_b29f4a
PROMPT Подскажи, как составить договор аренды с физлицом. Паспорт серии 4521 № 
Sensitivity
HIGH · pii
Content Type
legal · personal-data
Perimeter
on_prem
Model
qwen-72b @ on-prem
Tier path · decided_by
T0 rules T1 bert · 0.94 T2 arbiter T3 escalate
Data classes detected
pii.passport.ru contract.legal general.ru
Reason. Обнаружен паспортный номер РФ → класс pii.passport.ru. По политике privacy_high@v22 запрос направлен в on-prem модель; PII маскируется перед отправкой.
X-IAM-Route-Perimeter:on_prem
X-IAM-Route-Sensitivity:high
X-IAM-Route-DecidedBy:tier1.bert
X-IAM-Route-Reason:pii.passport.ru
Проблема · the routing gap

Шлюзов и DLP много.
Privacy-aware маршрутизации — нет.

Платформенным командам приходится выбирать между утечкой, запретом и слепым прокси. Все три варианта ломают продукт.

P · 01 · Leakage

Чувствительные данные уходят во внешние модели

Корпоративные prompt с PII, секретами и проприетарным кодом по умолчанию идут к OpenAI, Anthropic и Google — без учёта чувствительности.

prompt contains pii.passport.ru
→ external · openai.gpt-4o
leakage event
P · 02 · DLP blocks

Классические DLP блокируют — и ломают продукт

Запрет вместо маршрутизации убивает продуктовые сценарии: чат не отвечает, инженер уходит к личному ChatGPT. Без альтернативы DLP всегда проигрывает.

dlp.rule: pii.detected
block
→ user opens chat.openai.com on phone
P · 03 · Blind gateway

LLM-шлюз без privacy-классификации

Существующие gateway оптимизируют стоимость и quota — но не различают prompt с секретом и prompt про погоду. Маршрут не объяснить аудитору.

gateway.route(prompt) →
// based on: cost, quota, latency
// not based on: sensitivity
Решение · classify → route

Каждый prompt классифицируется
и едет в правильный контур.

Каскадный классификатор Tier 0–3 определяет чувствительность и тип контента. Политика выбирает периметр. Маршрут — объяснимый.

Три семантических контура

Не «куда дешевле», а «куда можно».

Цвет каждого периметра — не декоративный. Он закреплён в системе как семантический тег: маршрут, журнал, метаданные, отчёт аудитору используют одинаковую палитру.

local · edge
Локальная модель на устройстве или в air-gapped сегменте. PII, KII I, секреты.
on_prem · sovereign
Корпоративные модели в защищённом контуре. Llama / Qwen / GigaChat / YandexGPT.
external · frontier
Frontier-модели: OpenAI, Anthropic, Google. Только sanctioned prompt без чувствительных классов.
Perimeter routing · live

local

Edge / air-gapped. Самые чувствительные классы.

on_prem

Сувер. контур. PII, контракты, код с проприетарностью.

external

Frontier-модели. Только sanctioned prompts.

active route: on_prem perimeter share (24h): 31% local · 54% on-prem · 15% ext
Сценарии · production paths

Три рабочих сценария,
в которых маршрут — это решение.

Корпоративный чат, разработка ПО, открытое исследование. Один шлюз, разные политики, объяснимый маршрут для каждого.

SCENARIO · 01

Корпоративный чат с сотрудниками

Юрист, финансист, сейлз спрашивают модель «как обычно». Запрос про погоду — едет в external. Запрос с фрагментом договора — автоматически на on-prem с маскированием PII. Запрос про карточку клиента — local.

Сотрудник пишет тот же интерфейс. Маршрут — невидим. Аудит — полный.

general.ru contract.legal pii.passport.ru crm.customer
Routes · 24h sample
14:02 «погода в Москве» external
14:08 «проверь договор с Acme» on_prem
14:11 «card 4521 ****» local
14:14 «перепиши маркетинг» external
14:17 «секретный токен AWS …» local
5 of 4 124 routes · click row in app for full decision card
SCENARIO · 02

Разработка ПО и code review

Боты code-review, copilot-агенты, генерация тестов. Открытый код — на external. Внутренние модули с маркером @proprietary — на on-prem. Файлы с секретами в .env — блокируются на уровне Tier 0.

Инженер не выбирает модель. Маршрут — функция кодовой базы, не функция настроения.

code.open-source code.proprietary secret.api-key
Decision card · pr #4821 review
Sensitivity
MEDIUM
Content
code · proprietary
Perimeter
on_prem
Model
qwen-coder-32b
Reason. Маркер @iam/proprietary в headers PR. По политике code.proprietary@v8 запрос остаётся в on-prem.
SCENARIO · 03

Открытое исследование и аналитика

Маркетинг, продукт, R&D — публичные данные, открытые источники, нейтральные тексты. Маршрут по умолчанию — external, потому что фронтир-модели здесь сильнее.

Но если в prompt попадает имя клиента, ARR, или фрагмент стратегии — маршрут автоматически переключается. Без участия пользователя.

research.open strategy.internal crm.customer
Perimeter split · по командам
Маркетинг1 240 req · 7 дн.
12% local · 22% on-prem · 66% external
Юридический412 req · 7 дн.
42% local · 50% on-prem · 8% external
Инженерия3 904 req · 7 дн.
6% local · 61% on-prem · 33% external
Позиционирование · vs the market

Не LLM-gateway. Не DLP.
Privacy-aware routing.

Cost-routing gateway оптимизирует деньги. Block-only DLP запрещает. IAM.Router принимает объяснимое решение, исходя из чувствительности.

  Cost-routing LLM gateway Block-only DLP / AI firewall IAM.Router
Учитывает чувствительность контента — не основной критерий ~ да, но только для блока ✓ ядро принятия решения
Выбирает периметр (а не модель) — только модель/цена — только block/allow ✓ local · on_prem · external
Объяснимое решение в headers ~ debug-traces — причина блока ✓ X-IAM-Route-*
Каскад классификации Tier 0–3 — нет ~ regex / ML ✓ rules · BERT · LLM-арбитр
Маршрут как функция типа данных — цена / latency — нет маршрута ✓ data-class-aware
152-ФЗ, КИИ, реестр отеч. ПО — редко
Суверенность · sovereign perimeter

On-prem-first.
Маршрут не уезжает из вашего контура.

Router разворачивается рядом с моделями: в вашей виртуализации, в защищённой зоне, в air-gapped сегменте. Без обязательной телеметрии и без обучения на ваших данных.

01

Закрытый контур

Helm / OS-образ / OVA. Air-gapped профиль доступен. Обновления — подписаны.

02

152-ФЗ & 187-ФЗ

Регистрация обработки ПД, классификация КИИ, реестр инцидентов в согласуемом формате.

03

Реестр отеч. ПО

Подтверждение российского происхождения, поддержка на территории РФ, отчуждаемые исходники.

04

Без training на ваших prompt

Промпт-данные не покидают периметр. Классификаторы дообучаются на синтетике и публичных корпусах.

Как работает · cascade classifier

Каскад Tier 0 → 3.
Лёгкое — отвечает быстро. Сложное — эскалирует.

90% запросов получают вердикт в первых двух уровнях. LLM-арбитр включается там, где правила и BERT расходятся. Ничего «нейросеть на каждый prompt» — это не наш стиль и не наша экономика.

Cascade classifier · per request
TIER · 0
Rules / regex
~ 2 ms · deterministic
TIER · 1
BERT classifier
~ 12 ms · 0.94 conf
TIER · 2
LLM arbiter
~ 180 ms · borderline
TIER · 3
Human review
async · policy break
Early exit

88% запросов завершают каскад на Tier 0 или Tier 1. Latency p50 — 14 ms.

Explainability

Каждое решение фиксирует decided_by и rule_id. Аудит реконструирует маршрут.

DLP ai-docs

Каталог data-classes ведётся как код: версии, review, тесты на регрессии классификации.

Pilot · 6–8 недель

Подключите Router на одной команде
и увидите, куда уходят prompts уже сегодня.

Разворачиваем шлюз в вашем контуре, переключаем один продукт, показываем decision card по каждому запросу. Через две недели — отчёт «что и куда» с обоснованием.

Или напишите напрямую: info@iamrouter.ru