モデル・デプロイメント・メトリック
モデル・デプロイメントのメトリックの使用方法について学習します。
メトリックは、oci_datascience_modeldeployネームスペースで作成したデータ・サイエンス・モデル・デプロイメントで自動的に使用可能となります。これらのメトリックを取得するために、OCIリソースのモニタリングを有効にする必要はありません。
データ・サイエンス・モデル・デプロイメントのメトリックには、次のディメンションが含まれます:
- resourceId
-
モデル・デプロイメントのOCID。
- statusCode
-
HTTPレスポンス・ステータス・コード。
- result
-
レスポンスの結果:
-
Success -
Failure
-
- statusFamily
-
結果のステータス・ファミリ:
-
Success: 2XX -
Failure: 4XX and 5XX
-
- instanceId
-
インスタンスのID。
- networkType
-
ネットワークのタイプ:
-
BytesIn: Network receive throughput -
BytesOut: Network transmission throughput
-
- modelOcid
-
デプロイ済モデル・グループ内のモデルのOCID。モデル固有の予測リクエスト・ログは、モデル・ルーターの
modelOcidに基づいてフィルタで除外できます。
| メトリック名 | 表示名 | 単位 | 説明 | ディメンション |
|---|---|---|---|---|
PredictRequestCount
|
予測リクエスト数 | 数 | 予測リクエストの数。 |
|
PredictResponse
|
予測レスポンス成功率 | パーセンテージ | 予測レスポンス成功率。予測リクエストのうち、成功した予測リクエストの数に基づいて計算されます。 |
|
| 予測レスポンス・ステータス | 数 | 予測レスポンスの結果およびステータス・コード。 | ||
PredictLatency
|
予測レイテンシ | ミリ秒 | 予測コールのレイテンシ。 |
|
PredictBandwidth
|
予測帯域幅使用率 | パーセンテージ |
プロビジョニングおよび消費された予測帯域幅。プロビジョニングされた帯域幅は、モデル・デプロイメントの作成中に設定された顧客に期待される帯域幅です。消費帯域幅とは、特定のモデル・デプロイメントOCIDの進行中のすべての予測リクエストによって消費されるアクティブな帯域幅です。この帯域幅は、すべての予測リクエストでプロビジョニングされたロード・バランサ帯域幅の合計に対する、現在の消費済帯域幅として計算されます。 |
|
CpuUtilization
|
CPU使用率 | パーセンテージ | CPUのアクティビティ・レベル。 |
|
MemoryUtilization
|
メモリー使用率 | パーセンテージ | 使用中のメモリー。 |
|
NetworkBytes
|
ネットワーク受信および送信バイト | バイト/秒 | ネットワークの受信および送信スループット。 |
|
GPUCoreUtilization
|
GPU使用率 | パーセンテージ | モデル・デプロイメント・クラスタでGPUデバイスがどの程度ビジーであるかを示します。 |
|
GPUMemoryUtilization
|
GPUメモリー使用率 | パーセンテージ | モデル・デプロイメント・クラスタ内のすべてのGPUデバイスの平均メモリー消費を示します。 |
|
モデル・デプロイメント・メトリックの表示
デフォルトのメトリック・チャートは、データ・サイエンス・サービスのモデル・デプロイメントの詳細ページを使用して表示できます。
出力されるメトリックの詳細は、モデル・デプロイメント・メトリックを参照してください。
目的のモデル・デプロイメント・セッションのメトリック・データが表示されない場合は、メトリック・データの欠落を参照してください。