小型服务,明确职责
将检索、生成、内容和交付分离,使 AI 产品更易于推理和运营。
代理型产品同时涉及多个关注点:内容管理、模型推理、检索、会话状态、查询交付和评估。将所有这些合并为一个不透明的过程会使故障诊断变得困难。
清晰的服务边界为每个组件赋予职责和契约。模型生成结构化提案,CMS 拥有经过验证的内容,应用程序代码处理验证和操作。
这种架构并非为了创建更多基础设施。它是为了使完整系统的行为变得可见、可测试,并能够逐个部分替换。
Code Horizon · 关于 · 服务 · 洞察 · 联系