当检索提供问题所需的最小证据时，小型模型会变得更有用。
当精心选择上下文时，紧凑模型的表现最佳。将整个内容系统发送到每个提示中会产生噪音，增加延迟，并使答案更难评估。
检索层应从访客的意图开始，找到最小的一组直接相关记录，并保留用于答案的源标识符。这为界面提供了可以显示而不暴露内部指令的证据。
目标不是最大上下文。而是在模型需要时提供足够、可信的上下文。
Code Horizon · 关于 · 服务 · 洞察 · 联系