지연 시간은 인터페이스의 일부입니다

응답 시간은 시스템이 얼마나 지능적으로 느껴지는지 변화시키므로, 인지된 성능은 제품 아키텍처에 포함되어야 합니다.

방문자는 모델의 지연 시간을 인프라 지표로 경험하지 않습니다. 그들은 이를 주저함으로 경험합니다. 기술적으로 정확한 답변이라도 인터페이스가 시스템이 작동하는 동안 정지해 있으면 깨진 것처럼 느껴질 수 있습니다.

유용한 개선 사항은 스택 전반에 걸쳐 이루어집니다. 더 작은 프롬프트, 더 빠른 검색, 스트리밍 출력, 온난화된 모델 프로세스, 진전된 진전을 전달하는 동작 등입니다. 각 레이어는 다른 종류의 지연을 제거합니다.

가장 좋은 결과는 느린 시스템을 숨기는 애니메이션이 아닙니다. 모든 남은 순간을 이해할 수 있게 하는 빠른 시스템입니다.