响应时间改变了系统的智能感,因此感知性能应属于产品架构。
访客不会将模型延迟体验为基础设施指标。他们将其体验为犹豫。即使答案在技术上准确,如果界面在系统工作时保持静止,它仍然会感觉像坏了。
有用的改进发生在整个堆栈中:更小的提示、更快的检索、流式输出、预热模型进程以及传达真实进度的动作。每一层都消除了不同类型的延迟。
最好的结果不是掩盖慢速系统的动画,而是一个快速系统,其界面使每一个剩余时刻都易于理解。
Code Horizon · 关于 · 服务 · 洞察 · 联系