模型接入、权限、安全,
统一在网关做。
不用给每个应用单独管账号。把上游凭证留在网关,给应用签发 Key,安全检查也在网关跑。
开始部署输入输出
都过一道安检。
在网关集中做输入和输出检查。凭证特征、代码标记、关联请求,都进安全事件管理。安全团队有据可查,有案可追。
输入凭证检测
请求里带了密码或密钥?网关识别并记录,安全团队可以后续复核。
模型输出检查
检查模型回复里的指定代码标记,记录命中位置,方便业务复核。
安全事件追溯
把规则、命中位置和请求记录关联起来,查风险来源不用跨系统找。
输入检测 · 输出检查 · 事件追溯
请求输入凭证特征检测
password=[REDACTED]模型调用
模型输出代码标记检查
<script [omitted]安全事件
- 命中详情
- 检测规则 · 来源 · 命中位置
- 处置核查
- 规则命中记录与实际处置结果
- 调用追溯
- 通过请求标识关联调用记录
企业应用
Provider服务提供方
Channel连接渠道
Model模型资源
管理对象关系概念示意
组织
使用者 / 应用
网关 Key
模型授权额度配置用量归属
哪个团队能调什么模型,
清清楚楚。
上游账号凭证只保存在网关。给不同项目和部门分别发 Key,精细限制可用模型、限流 QPS 和额度上限。
- 上游凭证
- 网关 → 模型服务
- 网关 Key
- 应用 → BOS API
用量与成本管理计量 · 核算 · 限额
Token跟踪消耗统计输入与输出 Token 用量
成本折算费用用量 × 模型单价配置
额度额度配额按周期分配使用上限
频率防刷限流按时间窗口控制 QPS
一次请求经过网关,
都发生了什么?
鉴权、限流、路由选择、协议转发和审计记录,全都在流水线上自动完成。
- 01鉴权与准入
校验网关 Key 有效性与模型授权范围
- 02额度检查
核对账户余额、时间窗口与速率限流
- 03渠道选择
根据渠道配置与健康状态选择可用上游
- 04请求转发
协议适配转换并直连目标模型服务
- 05调用计量
统计耗时、Token 消耗并落库审计
请求处理概念示意。具体执行顺序、调度策略与异常行为需按版本验证。
调用记录示例字段
- request_id
- req_example_01
- model
- <MODEL_NAME>
- status
- 调用状态
- duration
- 请求耗时
- usage
- Token 与核算费用
跑在自己的机器上,数据不出内网。
支持 Docker / Compose 本地自托管,数据、密钥和配置全在你的服务器上,运维直观透明。
几分钟内,
跑起你的 AI 安全网关。
一条命令完成安装,随时开始接入客户端与模型。
立即开始部署