大型モデル・サポート

大規模モデルのモデル・デプロイメントの作成

モデル・デプロイメントでは、独自のコンテナの持込み(BYOC)がサポートされています。モデル・デプロイメントを作成するときに、カスタム・コンテナを実行時の依存関係として使用します。カスタム・コンテナを使用すると、システムおよび言語の依存関係をパッケージ化し、推論サーバーをインストールおよび構成し、様々な言語ランタイムを設定できます。これらはすべて、コンテナを実行するためのモデル・デプロイメント・リソースを持つインタフェースの定義済境界内にあります。BYOCとは、アプリケーションをOCI Cloudに移行およびデプロイできるように、コンテナを異なる環境間で転送できることを意味します。

モデル・カタログの変更

大規模モデルのデプロイメント

モデル・デプロイメントは、大規模なモデル・デプロイメントの多様なニーズに対応した、機械学習推論フレームワークの配列をサポートするように設計されています。これらの中でも、OCIは、大規模言語モデル(LLM)のテキスト生成インタフェース(TGI)、NVIDIA Triton推論サーバーおよび仮想大言語モデル(VLLM)をサポートしています。このサポートにより、デプロイメント要件に最適なフレームワークを選択できます。TGIとOCIの統合は、カスタマイズされたコンテナの使用をサポートし、特定のモデルの動作と依存関係に合わせた正確な環境設定を可能にします。NVIDIA Triton Inference Serverは、集中的な計算リソース、特にAIやディープラーニングを必要とするモデルのために、OCI上で合理化されたパスを提供します。GPUリソースの効率的な管理に役立ち、TensorFlow、PyTorch、ONNXなどの幅広い機械学習フレームワークをサポートしています。OCIのVLLMとNVIDIA Triton TensorRT LLMの処理は、大規模な言語モデルに特化した最適化を提供します。これらのフレームワークは、レイヤーの融合や精密キャリブレーションなどの高度な最適化技術によって、強化されたパフォーマンス機能を活用します。これは、大規模な言語処理タスクの非常に大規模な計算要求を処理するために重要です。これらのフレームワークをOCIにデプロイすることで、高スループットと低レイテンシの推論を使用できるため、リアルタイムの言語理解と生成を必要とするアプリケーションに最適です。各オプションのデプロイメントの詳細は、次のとおりです。