Retrieval für kleine Modelle gestalten

Kleine Modelle werden nützlicher, wenn das Retrieval die minimalen Beweise liefert, die für die vorliegende Frage benötigt werden.

Ein kompaktes Modell funktioniert am besten, wenn der Kontext sorgfältig ausgewählt wird. Das Senden eines gesamten Inhaltsystems in jeden Prompt erzeugt Rauschen, erhöht die Latenz und macht die Antwort schwerer zu bewerten.

Eine Retrievalschicht sollte mit der Absicht des Besuchers beginnen, den kleinsten Satz direkt relevanter Datensätze finden und die Quelldatenkennungen bewahren, die für die Antwort verwendet werden. Dies gibt der Schnittstelle Beweise an die Hand, die sie anzeigen kann, ohne interne Anweisungen preiszugeben.

Das Ziel ist nicht der maximale Kontext. Es ist ausreichender, vertrauenswürdiger Kontext, der genau dann geliefert wird, wenn das Modell ihn benötigt.

Code Horizon · Über mich · Dienstleistungen · Einblicke · Kontakt