Merancang pengambilan untuk model kecil

Model kecil menjadi lebih berguna ketika pengambilan menyediakan bukti minimum yang diperlukan untuk pertanyaan di hadapannya.

Model ringkas bekerja paling baik ketika konteks dipilih dengan hati-hati. Mengirimkan seluruh sistem konten ke setiap prompt menciptakan kebisingan, meningkatkan latensi, dan membuat jawaban lebih sulit dievaluasi.

Lapisan pengambilan harus dimulai dengan niat pengunjung, menemukan himpunan terkecil dari catatan yang langsung relevan, dan melestarikan identifikasi sumber yang digunakan untuk jawaban. Itu memberikan antarmuka bukti yang dapat ditampilkan tanpa mengekspos instruksi internal.

Tujuannya bukan konteks maksimum. Itu adalah konteks yang cukup dan dapat dipercaya yang disampaikan pada saat model membutuhkannya.

Code Horizon · Tentang · Layanan · Wawasan · Kontak