모델 업그레이드 전 평가

더 큰 모델은 제품이 처리해야 하는 특정 대화에서 더 잘 수행될 때만 개선입니다.

모델 업그레이드는 벤치마크 숫자가 간단한 이야기를 제공하기 때문에 유혹적입니다. 제품 품질은 더 어렵습니다: 시스템은 근거 있는 질문에 답하고, 올바른 증거를 선택하며, 경계를 존중하고, 인간 대화가 유용한지 인식해야 합니다.

집중된 평가 세트는 이러한 요구 사항을 반복 가능한 테스트로 전환합니다. 이는 성공 사례, 모호한 요청, 지원되지 않는 서비스, 개인정보 질문, 및 적대적 프롬프트를 포함해야 합니다.

그 기준이 존재하면 새로운 모델은 실제 결과, 지연 시간, 및 비용에 의해 판단될 수 있습니다. 업그레이드는 가정이 아닌 엔지니어링 결정이 됩니다.