Progettare il recupero per modelli piccoli
I modelli piccoli diventano più utili quando il recupero fornisce le prove minime necessarie per la domanda davanti a loro.
Un modello compatto performa al meglio quando il contesto è selezionato con cura. Inviare un intero sistema di contenuti in ogni prompt crea rumore, aumenta la latenza e rende la risposta più difficile da valutare.
Uno strato di recupero dovrebbe iniziare con l'intenzione del visitatore, trovare l'insieme più piccolo di record direttamente rilevanti e preservare gli identificatori della fonte utilizzati per la risposta. Questo dà all'interfaccia le prove che può visualizzare senza esporre le istruzioni interne.
L'obiettivo non è il contesto massimo. È un contesto sufficiente e affidabile consegnato nel momento in cui il modello ne ha bisogno.
Code Horizon · Chi sono · Servizi · Approfondimenti · Contatti