評価

AIクイック・アクションによるモデル・パフォーマンスの評価

デプロイ済モデルでは、モデル評価を作成してパフォーマンスを評価できます。オブジェクト・ストレージからデータセットを選択するか、作業中のノートブックのストレージからデータセットをアップロードできます。ノートブックからデータセットをアップロードするには、まず、ノートブック・セッションでファイルをオブジェクト・ストレージに書き込むポリシーを設定する必要があります。モデル評価に実験名でラベルを付けることができます。既存の実験から選択するか、新規実験を作成できます。BERTScore、BLEU Score、Perplexity Score、Text ReadabilityおよびROUGEは、モデル・パフォーマンスの測定に使用できる評価メトリックです。モデル評価結果はオブジェクト・ストレージに保存できます。モデル評価パラメータを設定できます。詳細オプションの下で、評価用のコンピュート・インスタンス・シェイプを選択し、オプションで停止シーケンスを入力できます。さらに、モデル評価を使用してロギングを設定して監視できます。ロギングはオプションですが、評価によるエラーのトラブルシューティングに役立つことをお薦めします。ロギングを有効にするには、必要なポリシーが必要です。ロギングの詳細は、ログの項を参照してください。評価の構成およびパラメータを作成する前にレビューできます。

「評価」タブに戻ると、モデルの評価が完了すると、評価ライフサイクルの状態がSucceededになります。評価結果を表示し、モデル評価レポートのコピーをローカル・マシンにダウンロードできます。