模型升级前的评估
更大的模型只有在针对产品需要处理的具体对话表现更好时，才是一种改进。
模型升级之所以诱人，是因为基准测试数据提供了一个简单的故事。但产品质量更难衡量：系统必须回答基于事实的问题，选择正确的证据，尊重边界，并识别何时需要人工对话。
一个聚焦的评估集可以将这些要求转化为可重复的测试。它应包括成功案例、模糊请求、不支持的服务、隐私问题以及对抗性提示。
一旦建立了基线，新模型就可以通过实际结果、延迟和成本来评判。升级将变成一个工程决策，而非假设。
Code Horizon · 关于 · 服务 · 洞察 · 联系