작은 모델에 대한 검색 설계

검색이 모델 앞에 있는 질문에 필요한 최소한의 증거를 제공하면 작은 모델이 더 유용해집니다.

컴팩트한 모델은 문맥을 신중하게 선택했을 때 가장 잘 작동합니다. 전체 콘텐츠 시스템을 각 프롬프트에 보내면 노이즈가 발생하고 지연 시간이 증가하며 답변을 평가하기 어려워집니다.

검색 레이어는 방문자의 의도에서 시작하여 직접적으로 관련 있는 기록의 가장 작은 집합을 찾아야 하며, 답변에 사용되는 소스 식별자를 보존해야 합니다. 이는 인터페이스가 내부 지침을 노출하지 않고도 표시할 수 있는 증거를 제공합니다.

목표는 최대 문맥이 아닙니다. 모델이 필요할 때 충분한, 신뢰할 수 있는 문맥을 제공하는 것입니다.