Oracle Cloud Infrastructureドキュメント

専用AIクラスタへの支払い

OCI生成AIで専用AIクラスタを使用する場合、次の利点があります:

  • 需要にあわせて変動しない予測可能な価格設定。
  • ファインチューニングやホスティングモデルに最適です。
  • 最小ホスティング・コミットメント: ホスティング・クラスタ当たり744ユニット時間。
  • 最小ファインチューニング・コミットメント: ファインチューニング・ジョブごとに1単位時間。(モデルによっては、ファインチューニングを実行するには2ユニット以上が必要です)。

次の例では、OCI生成AIにおける専用AIクラスタのコストを計算します。オンデマンド推論コストの計算については、「オンデマンド推論の支払」を参照してください。

専用クラスタ単価へのモデルの照合

基盤モデルをホスティングしたり、専用AIクラスタでファインチューニングしている場合は、トランザクションではなく単位時間で課金されます。

「事前トレーニング済モデル」ページに移動し、操作するモデルを選択します。「モデルの専用AIクラスタ」セクションで、モデルと一致する専用AIクラスタのユニット・サイズと「価格設定ページ情報」を見つけます。次に、この項の例を確認して、これらのモデルを使用するためのコストを計算する方法を学習します。

重要

専用サービング・モードでサポートされている一部のOCI生成AI基盤の事前トレーニング済ベース・モデルは非推奨となり、1番目の代替モデルのリリース後6か月以内に廃止されます。ベース・モデルをホストするか、ベース・モデルを微調整して、ベース・モデルが廃止されるまで専用AIクラスタ(専用サービング・モード)でファインチューニング・モデルをホストできます。専用サービング・モード・リタイア日については、モデルのリタイアを参照してください。

基本モデルのホストの例1

Johnは、専用インフラストラクチャでCommand R+ 08-2024 (cohere.command-r-plus-08-2024)モデルのインスタンスをホストしようとしています。Johnは、40日後にクラスタを削除し、クラスタのコストを知りたいと考えています。cohere.command-r-plus-08-2024モデルをホストするには、まず、cohere.command-r-plus-08-2024モデルをホストできるユニット・サイズを識別する必要があります。cohere.command-r-plus-08-2024モデルの単位サイズはLarge Cohere V2_2単位です。モデル用の専用AIクラスタを参照してください。

Johnでは、cohere.command-r-plus-08-2024モデルをホストするために少なくとも1つのLarge Cohere V2_2ユニットが必要です。1つのLarge Cohere V2_2単位でホスティング・クラスタのコストを計算するステップを次に示します。

  1. 単位時間を40日間計算します。 
    40 days x 24 hours per day x 1 unit = 960 unit hours.
  2. 単位時間がモデルをホストするための最小コミットメントを超えていることを確認してください。 
    960 unit hours > 744 minimum unit hours
  3. AIの価格設定にアクセスし、OCI生成AIのOracle Cloud Infrastructure Generative AI- Large Cohere - Dedicatedで<Large-Cohere-dedicated-unit-per-hour-price>を見つけます。
  4. 「モデルの専用AIクラスタ」セクションの専用AIクラスタ・セクションで、cohere.command-r-plus-08-2024モデルの乗数を確認します: 
    For Hosting, Multiply the Unit Price: x 2
  5. 価格を40日間計算します。 
    price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

基本モデルのホストの例2

Aliceは、専用インフラストラクチャでCommand R 08-2024 (cohere.command-r-08-2024)モデルのインスタンスをホストしようとしています。cohere.command-r-08-2024モデルをホストするには、AliceはまずCommand R 08-2024モデルをホストできるユニット・サイズを識別する必要があります。Command R 08-2024の単位サイズはSmall Cohere V2単位です。モデル用の専用AIクラスタを参照してください。

Aliceは、1つのユニットよりも高いコール量をモデルに対して処理するために、3つの単位のSmall Cohere V2を購入することを決定します。Aliceでは、5日後にクラスタの削除を計画しています。3つのSmall Cohere V2ユニットを持つホスティング・クラスタのコストを5日間計算するステップを次に示します。

  1. ユニット時間の計算 
    5 days x 24 hours per day x 3 units = 360 unit hours.
  2. 単位時間とモデルをホストするための最小コミットメントを比較します。 
    360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
  3. AIの価格設定にアクセスし、OCI生成AIのOracle Cloud Infrastructure Generative AI - Small Cohere - Dedicatedで<Small-Cohere-dedicated-unit-per-hour-price>を見つけます。
  4. 「モデルの専用AIクラスタ」セクションで、cohere.command-r-08-2024モデルの乗数を検索します。

    cohere.command-r-08-2024モデルをホストするために価格を乗算する必要はありません。

  5. 5日間の費用を計算します。 
    price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

モデルの微調整とホスティングの例

Bobは、Command R 08-2024 (cohere.command-r-08-2024)モデルを微調整します。Bobは、事前設定された値が8つのSmall Cohere V2ユニットであるファインチューニング専用AIクラスタを作成します。Bobは、ファインチューニング専用AIクラスタにカスタム・モデルを作成し、トレーニング・データを使用してCommand R 08-2024基礎モデルを微調整します。微調整ジョブの完了には5時間かかります。Bobは毎週ファインチューニング・クラスタを作成します。

cohere.command-r-08-2024モデルをホストするには、Bobがcohere.command-r-08-2024モデルをホストできるユニット・サイズを識別する必要があります。cohere.command-r-08-2024モデルの単位サイズはSmall Cohere V2単位です。モデル用の専用AIクラスタを参照してください。Bobは、1つのホスティング・クラスタで最大50個のファインチューニング・モデルをホストできます。ここでは、モデルの微調整およびホスティングのための月次コストを計算するステップを示します。

  1. 各微調整の単位時間を計算します。 
    Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours
  2. 単位時間と最小コミットメントを比較して、モデルを微調整します。 
    40 unit hours > 1 unit hour
  3. ホスティングの単位時間を計算します。 
    31 days x 24 hours per day x 1 unit = 744 unit hours
  4. 単位時間とモデルをホストするための最小コミットメントを比較します。 
    744 unit hours = 744 minimum unit hours
  5. AIの価格設定にアクセスし、OCI生成AIのOracle Cloud Infrastructure Generative AI - Small Cohere - Dedicatedで<Small-Cohere-dedicated-unit-per-hour-price>を見つけます。
  6. 月額の合計価格を検索 
    fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>
    hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
    total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
ヒント

価格の計算に加えて、AIおよび機械学習カテゴリを選択し、OCI生成AIのコスト見積りをロードすることで、コストを推定できます。