Oracle Cloud Infrastructureドキュメント

自動スケーリングを使用したモデル・デプロイメントの作成

コンピュートおよびロード・バランサの自動スケーリングが構成されたモデル・デプロイメントを作成する方法について学習します。

モデル・デプロイメントでより高度なオプションとメトリックを使用して自動スケーリングを設定するために、カスタム・スケーリング・メトリック・タイプを使用することを検討してください。

自動スケーリングが機能するために必要なポリシーが追加されていることを確認します。

モデル・デプロイメントは、コンソール、OCI CLIまたはデータ・サイエンスAPIを使用して作成および実行できます。

    1. モデル・デプロイメント・ページで、「モデル・デプロイメントの作成」を選択します。モデル・デプロイメントのリストの検索に関するヘルプが必要な場合は、モデル・デプロイメントのリストを参照してください。
    2. 「モデル・デプロイメントの作成」のステップに従って、モデル・デプロイメントを構成します。
    3. 「自動スケーリング構成」で、「自動スケーリングの有効化」を選択します。
      自動スケーリングを構成できるように、いくつかのリストおよびフィールドが表示されます。
    4. (オプション)構成に応じて、各リストまたはフィールドの値を更新します。
    5. (オプション)ロード・バランサを自動スケーリングするには、「拡張オプションの表示」を選択します。
      最大帯域幅の値が最小帯域幅の値よりも大きく、最小帯域幅の値が2倍以下になるように設定します。
    6. 「作成」を選択します。

  • モデル・デプロイメントを作成するには、oci data-science model-deployment createコマンドと必要なパラメータを使用します:

    oci data-science model-deployment create --required-param-name variable-name ... [OPTIONS]
    たとえば、次を使用してデプロイメントを作成します。 
    oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--display-name <MODEL_DEPLOYMENT_NAME>
    次の例で、このモデル・デプロイメントのJSON構成ファイルを使用します:
    {
  "deploymentType": "SINGLE_MODEL",
  "modelConfigurationDetails": {
    "modelId": "ocid1.datasciencemodel....",
    "instanceConfiguration": {
      "instanceShapeName": "VM.Standard.E4.Flex",
      "modelDeploymentInstanceShapeConfigDetails": {
        "ocpus": 1,
        "memoryInGBs": 16
      }
    },
    "scalingPolicy": {
      "policyType": "AUTOSCALING",
      "coolDownInSeconds": 600,
      "isEnabled": true,
      "autoScalingPolicies": [
        {
          "autoScalingPolicyType": "THRESHOLD",
          "initialInstanceCount": 1,
          "maximumInstanceCount": 2,
          "minimumInstanceCount": 1,
          "rules": [
            {
              "metricExpressionRuleType": "PREDEFINED_EXPRESSION",
              "metricType": "CPU_UTILIZATION",
              "scaleInConfiguration": {
                "scalingConfigurationType": "THRESHOLD",
                "threshold": "10"
              },
              "scaleOutConfiguration": {
                "scalingConfigurationType": "THRESHOLD",
                "threshold": "65"
              }
            }
          ]
        }
      ]
    },
    "bandwidthMbps": 10,
    "maximumBandwidthMbps": 20
  }
}

    CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。

  • CreateModelDeployment操作を使用して、モデル・デプロイメントを作成します。