モデルアップグレード前の評価

より大きなモデルは、製品が処理する必要がある特定の会話でより良いパフォーマンスを発揮する場合のみ、改善となります。

モデルアップグレードは、ベンチマーク数値が単純な物語を提供するため魅力的です。しかし、製品品質はより困難です：システムは根拠に基づいた質問に答える、適切な証拠を選択し、境界を尊重し、人間の対話が必要かどうかを認識する必要があります。

焦点を当てた評価セットは、それらの要件を反復可能なテストに変換します。それは、成功したケース、曖昧なリクエスト、サポートされていないサービス、プライバシーに関する質問、および敵対的なプロンプトを含めるべきです。

そのベースラインが存在すれば、新しいモデルは実際の結果、レイテンシ、およびコストによって判断できます。アップグレードは仮定ではなくエンジニアリングの決定となります。