模型路由研究
把模型选择、Gateway 可靠性、企业评估与自适应学习拼成一条完整的 Model Router 生命周期。
我把一个 Router 从第一次被用户看到,到生产运行、企业定制与持续学习的路径拆成五层。
01 / 研究快照
这个项目不是在给模型打分,而是在重构一条产品生命周期。
Model Router 的产品与运行链路
五个代表性产品的横向调研
把复杂度从用户手里拿回系统层
不是严格 Benchmark,而是机制与产品判断
02 / 研究问题
Router 真正需要回答的,不只是“选哪个模型”。
用户怎么用?
怎么智能选模?
怎么稳定运行?
怎么适配企业?
上线后怎么持续学习?
03 / 五层研究框架
五个产品,分别代表五层能力。
用户先看到一个可部署的模型
microsoft foundry model router ↘任务、市场与成本共同决策
openrouter auto router ↘稳定、可控、可观察地执行
higress ai gateway ↘企业评估数据塑造专属路由
not diamond custom router ↘反馈继续修正未来选模
litellm adaptive router ↘04 / 为什么选择这五个产品
每个产品都不是孤立存在,而是在不同能力层上最具代表性。
用户工作流最完整,Router 被包装成普通 Model。
Task + Market + Cost 的混合路由最典型。
生产运行层最完整,自托管与开源边界清楚。
企业数据 → Evaluation → Custom Router 的链路最清晰。
Feedback → Bandit update → 下一次选模变化最明确。
05 / 五个产品如何使用
把横向调研整理成可直接读懂的比较矩阵。
Foundry · Search · Deploy
Prompt · Task Type
Gateway · Console
Enterprise Data
Feedback Loop
Near invisible routing
Cost-aware choice
Runtime governance
Custom evaluation
Adaptive learning
Why is weakly explained
Session stickiness exists
Setup still takes work
Retrain is not adaptive
Beta stability remains
06 / 能力地图
这是一套定性总结,不是统一 Benchmark。
★★★ / ★★ / ★ 是调研者对能力代表性的定性总结,不是严格分数。
07 / 最核心的产品发现
Router 该承担决策复杂度,而不是把复杂度转给用户。
先让用户知道能用。
再让企业定义什么叫好。
最后让真实反馈改变未来策略。
08 / 对产品建设的启发
短期产品化 Router,中期连接 Gateway,长期走向自定义与自适应。
先把 Router 做成普通用户可理解的入口。
把智能选模和 Gateway 运行层连接起来。
让评估、反馈与学习沉淀为产品资产。
09 / 证据与原始页面
五个产品各自保留最有代表性的原始截图。
这些截图来自对应原始材料;敏感凭证页不会直接公开。
microsoft foundry model router
产品层
openrouter auto router
智能路由层
higress ai gateway
生产运行层
not diamond custom router
企业定制层
litellm adaptive router
自适应进化层
01 / Microsoft Foundry dashboardProduct-layer evidence: the router is packaged as a deployable model that ordinary users can adopt directly.
02 / OpenRouter usage dashboardIntelligent-routing evidence: task-aware routing combines spend share and cost tiers.
03 / Higress provider managementProduction-runtime evidence: authentication, provider management, balancing, and observability live in the gateway.
04 / Not Diamond monthly usageEnterprise-customisation evidence: enterprise evaluation and training data become a custom-routing asset.
05 / LiteLLM usage dashboardAdaptive-evolution evidence: feedback continues to shape later routing decisions.10 / 研究局限
这不是 Benchmark,也不是穷尽型产品盘点。
没有穷尽所有 Router 产品。
没有统一环境的严格 Benchmark。
产品变化很快,页面只保留当前可验证状态。
11 / 未来工作
下一步要做的,是把路由产品做得更可观测、更自适应。
把缓存上下文纳入路由判断。
持续观察反馈后的状态变化。
把未来比较建立在同一组标准上。