レイテンシはインターフェースの一部です

応答時間はシステムの知能性を感じさせる方法を変化させるため、知覚されるパフォーマンスは製品アーキテクチャに含まれるべきです。

訪問者はモデルのレイテンシをインフラストラクチャの指標として経験しません。彼らはそれを躊躇として経験します。技術的に正確な回答でも、システムが動作している間インターフェースが静止している場合は、破損しているように感じられます。

有用な改善はスタック全体で行われます：より小さなプロンプト、高速な検索、ストリーミング出力、ウォームなモデルプロセス、そして真の進捗を伝える動き。各レイヤーは異なる種類の遅延を除去します。

最高の結果は、遅いシステムを隠すアニメーションではありません。残りのすべての瞬間を理解できる、高速なシステムとそのインターフェースです。