オンデマンド推論に対する支払
OCI生成AIのオンデマンド推論にコミットすると、次のメリットが得られます。
- 生成AIの使用を開始するための障壁が少ない。
- 使用可能なすべての生成AI基盤モデルにアクセスします。
- モデルの実験と評価に最適です。
- トランザクションのPay as you goです。詳細は、次のノートを参照してください。
オンデマンド推論では、次の文字長に従って支払います。
- チャット: プロンプトの長さ(文字数) +レスポンスの長さ(文字数)
- テキスト埋込み: 入力長(文字)
「価格設定」ページで、1 characterは1 transactionとして計算されます。
基盤モデルをホストする場合、または専用AIクラスタでそれらを微調整する場合は、トランザクションではなく単位時間で課金されます。この場合、専用AIクラスタのコストを計算する方法を学習するには、専用AIクラスタへの支払を参照してください。
モデルのオンデマンド価格への照合
価格設定ページには、推論にプレイグラウンド、APIまたはCLIを使用する場合の10,000件のオンデマンド・トランザクションの価格が表示されます。
「事前トレーニング済モデル」ページに移動し、操作するモデルを選択します。「オンデマンド・モード」セクションで、モデルの「価格設定ページ情報」を見つけます。次に、この項の例を確認して、入力文字と出力文字の数に基づいてコストを計算する方法を学習します。
チャットの例
Paulは、次のプロンプト(220 characters long)を使用してmeta.llama-3.3-70b-instructモデルをコールします。
サラウンド・サウンドを記録できるUSB接続コンパクト・マイク用の製品ピッチを生成します。マイクは、音楽や会話の録音に最も役立ちます。マイクは、ポッドキャストの記録にも役立ちます。
モデルからのレスポンスは2,205 characters longです。ポールはこの電話の費用を知りたい。ここでは、コストを計算するステップを示します。
テキスト埋込みの例
Ginaは、顧客契約を新しいセマンティック検索アプリケーションの埋込みに変換しています。平均して、Ginaは毎時16の文書を取り込みます。各ドキュメントの長さは約1,000 charactersです。Ginaは、これらの埋込みを生成するための月次請求の見積を取得したいと考えています。ここでは、コストを計算するステップを示します。