整合技术架构

分层设计

┌─────────────────────────────────┐
│   TrueFoundry AI Gateway        │  ← 路由、鉴权、PII、限流
├─────────────────────────────────┤
│   Seldon Core 模型服务           │  ← ML 实时推理
├─────────────────────────────────┤
│   Kubernetes 集群（客户已有）     │
└─────────────────────────────────┘

Gateway 能力

• 日处理 >1 万亿 Token
• 多模型 负载均衡 与 Failover
• Agent 工具调用 审计与策略

Seldon Core

• 2014 起服务金融/医疗 低延迟推理
• 严格数据治理 与 模型版本管理
• 与 Gateway 共享 K8s 运维体系

Agentic 扩展

• 同一平台编排 LLM + 工具 + 传统 ML
• 避免 MLOps 与 Agent 平台分裂

部署优势

客户 无需迁移 既有 K8s 投资，leapfrog 到 Agent 时代。