Higress AI Gateway

模型选定后，如何保证请求稳定、安全、可控、可观察且可扩展地运行？Higress 在五层框架中是 Production Operation Layer，而不是智能选模 Router。

通过 Docker 完成本地部署；管理端运行于 localhost:8001，Gateway 调用经由 localhost:8080。公开内容不包含任何真实凭证。

User Request → Gateway → Authentication → Traffic / Token Control → Provider Selection / Load Balance → Health / Failover → Model → Response → Observability。

Unified Model Access、API Consumer、Provider Management 与凭证隔离，把多供应商调用转换为一致且可治理的入口。

Weighted load balancing、health check、provider failover 与 model fallback 分别覆盖容量分配、健康状态和多层降级。

传统 API 常用 QPS；AI 请求的 Token 消耗差异巨大，因此还需要按 Consumer、IP、Header 或请求参数配置 Token Rate Limit 与 AI Quota。

统一观察请求、供应商、回退、Token 与失败原因，才能把智能路由连接到真实生产责任。Gateway 是 Router 价值稳定发生的运行基础。