Conception de la récupération pour les petits modèles
Les petits modèles deviennent plus utiles lorsque la récupération fournit les preuves minimales nécessaires à la question qui les concerne.
Un modèle compact fonctionne le mieux lorsque le contexte est sélectionné avec soin. Envoyer un système de contenu entier dans chaque prompt crée du bruit, augmente la latence et rend la réponse plus difficile à évaluer.
Une couche de récupération doit commencer par l'intention du visiteur, trouver l'ensemble le plus petit de dossiers directement pertinents et préserver les identifiants de source utilisés pour la réponse. Cela donne à l'interface des preuves qu'elle peut afficher sans exposer les instructions internes.
L'objectif n'est pas un contexte maximal. Il s'agit d'un contexte suffisant et fiable délivré au moment où le modèle en a besoin.
Code Horizon · À propos · Services · Analyses · Contact