OpenSearchパイプラインの作成

OpenSearchパイプラインを作成して、データ・プリッパーを含むOpenSearchクラスタにログ・データを収集します。

ノート

OpenSearch索引名は、次のルールに従う必要があります。

すべての文字は小文字にする必要があります。
名前は、アンダースコア(_)またはハイフン(-)で始めることはできません。
名前に空白、カンマまたは次の文字を含めることはできません: 、 "、 *、 +、 /、 \、 |、 ?、 #、 >、 <
索引名には、データ・プリッパー式を含めることができます。

重要

OpenSearchクラスタ内にデータ取込みパイプラインを作成した後、クラスタを削除できるのは、そのすべてのデータ取込みパイプラインを最初に削除した場合のみです。

1. 「パイプライン」リスト・ページで、「パイプラインの作成」を選択します。リスト・ページの検索に関するヘルプが必要な場合は、OpenSearchパイプラインのリストを参照してください。
2. 「パイプラインの作成」パネルで、次の情報を入力します:
  
  パイプライン名: パイプラインの名前を入力します。
  
  コンパートメント: パイプラインを含むコンパートメントをリストから選択します。
  
  タグ: 任意のタグを目的のパイプラインに適用します。タグ付けの概要を参照してください。
3. 「YAML」で、次のいずれかのパイプライン・オプションを選択します。
  
  プル: 外部ソースから定期的にデータをプルする場合に選択します。次に、対応する「ソース・タイプ」オプションのいずれかを選択します。
  
  オブジェクト・ストレージ。
  
  Kafka. Selecting this option requires you to provide networking configuration information later in the pipeline creation process.
  
  プッシュ: 取込みエンドポイントを介してデータを受信する場合に選択します。次に、対応する「ソース・タイプ」オプションのいずれかを選択します。
  
  HTTP
  
  OpenTelemetryログ
  
  OpenTelemetryメトリック
  
  OpenTelemetryトレース
4. 「YAMLの生成」を選択します。
  デフォルトのスキーマは、「パイプラインYAML」ボックス内に生成されます。ここでは、ニーズに合わせてカスタマイズできます。
  オブジェクト・ストレージおよびソース調整YAML構成については、オブジェクト・ストレージおよびソース調整YAMLを参照してください。
  
  Kafka YAML構成については、Kafka YAMLを参照してください。
5. 「ハードウェア構成」で、次の情報を入力します。
  
  ノード数: 1から10の間のノード数を入力します。
  
  OCPU: 1から32までのOCPU数を入力します。
  
  メモリー(GB): 8から1024までのメンバー量をギガバイト単位で入力します。
6. 「ネットワーク構成」で、次の点に注意してください。
  この構成は、プライベートOCIストリーミング・サービスおよび自己管理Kafkaおよびプッシュ・パイプラインにのみ必要です。パブリックOCIストリーミング・サービスの場合は、noneを選択します。
  ソースに逆接続が必要な場合は、OpenSearchパイプラインを逆接続で構成して、サブネットに存在するデータ・ソースからデータをプルする必要があります。リバース接続のプロビジョニングは完全に自動化されています。
  
  次の情報を入力します:
  
  <compartment>のVirtual Cloud Network: リストから、指定したコンパートメントの仮想クラウド・ネットワーク(VCN)を選択します。
  
  <compartment>のサブネット: リストから、指定したコンパートメント内のVCNへのサブネットを選択します。
  
  ネットワーク・セキュリティ・グループ: リストから必要なネットワーク・セキュリティ・グループを選択します。
  
  ノート
  
  次の構成は、プライベートOCIストリーミング・サービスおよび自己管理Kafkaにのみ必要です。パブリックOCIストリーミング・サービスの場合は、「なし」を選択します。
  
  逆接続エンドポイント: 逆接続に使用するエンドポイントのIPアドレスを入力します。
  
  ドメイン名: ソースの完全修飾ドメイン名(FQDN)を入力します。たとえば:
  streaming.us-phoenix-1.oci.oraclecloud.com:9092
7. 「ドライ・ラン」を選択して、指定された構成を検証します。
  成功したら、実際のパイプラインの作成を続行できます。
8. 「作成」を選択します。
パイプラインを作成するには、oci opensearch pipeline createコマンドと必要なパラメータを使用します:
```
oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]
```
data-prepper-configuration-body は、YAML形式のデータ・プリッパー構成です。このコマンドは、データ・プリッパー構成を文字列として、または.yamlファイル内で受け入れます。構成を文字列として指定する場合は、新しい各行を「.」でエスケープする必要があります。

pipeline-configuration-body は、YAML形式のパイプライン構成です。このコマンドは、パイプライン構成を文字列として、または.yamlファイル内で受け入れます。構成を文字列として指定する場合は、新しい各行を「.」でエスケープする必要があります。

CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。
CreateOpensearchClusterPipeline操作を実行してパイプラインを作成します。

Oracle Cloud Infrastructureドキュメント

OpenSearchパイプラインの作成