オブジェクト・ストレージとのデータの同期
Lustreファイル・システムとオブジェクト・ストレージ・バケット間でデータを同期できます。AIトレーニングやデータ処理に高速アクセスが必要な場合に、Object StorageからLustreにデータをプル(データのインポート)します。完了したら、結果をオブジェクト・ストレージ(エクスポート・データ)にプッシュして、コスト効率に優れた長期ストレージを実現します。
この双方向同期を設定するには、Lustreディレクトリをオブジェクト・ストレージ・バケットにリンクします。このリンクを使用して、必要に応じてオブジェクト・ストレージからLustreにオブジェクトをインポートし、Lustreからオブジェクト・ストレージにエクスポート・ファイルを戻します。
インポートまたはエクスポートを開始すると、ジョブが作成されます。各ジョブには一意のIDがあり、これを使用して詳細を表示できます。
インポート・ジョブまたはエクスポート・ジョブを開始すると、変更されたすべてのファイルとそのメタデータがコピーされます。
前提条件
- Lustreファイル・システムと同じリージョンおよびテナンシに、少なくとも1つのオブジェクト・ストレージ・バケットがあります。クロスリージョンまたはクロステナンシのインポートとエクスポートはサポートされていません。
- Lustreファイル・システムには、Object Storageからのデータ・インポートを保持するのに十分な空き領域があります。
- 必要なIAM権限がすべて構成されます。
考慮事項
- ジョブ・コピーのみの新規ファイルおよび変更済ファイル: リンクの最初のエクスポートでは、Lustreファイル・システム内のすべてのファイルが新規であるため、オブジェクト・ストレージ・バケットにコピーされます。エクスポート前にバケットに存在していた品目は変更されません。後のエクスポートでは、新しいファイル、または最後のジョブ以降に更新されたファイルのみがコピーされます。削除はどちらの方向にもミラー化されません。
- ハード・リンクおよびメタデータのみの変更がコピーされない:インポート・ジョブまたはエクスポート・ジョブでは、最後のジョブ以降にメタデータ(UIDや変更時間など)のみが変更された場合、ファイルはコピーされません。また、ハード・リンクを介してコンテンツを共有するファイルがある場合、インポートおよびエクスポート時にそれぞれが別個のファイルとして扱われるため、それらの間のハード・リンクが失われることに注意してください。
- 単一リージョンおよびテナンシ: オブジェクト・ストレージ・バケットと、同じリージョンおよびテナンシにあるLustreファイル・システムの間でのみファイルをインポートおよびエクスポートできます。リージョンまたはテナンシ間でインポートまたはエクスポートすることはできません。
- 単一ジョブの制限:ファイル・システムごとに一度に1つのインポート・ジョブまたはエクスポート・ジョブのみを実行できます。複数のリンクが同じファイル・システムに属している場合、それらのジョブは同時に実行できません。ただし、異なるファイル・システム上のジョブは同時に実行できます。
- 10リンク制限: Lustreファイル・システムごとに最大10個のオブジェクト・ストレージ・リンクを作成できます。さらにリンクが必要な場合は、サポートに連絡してください。
- リンクの編集: リンクを編集して、名前、オブジェクト・ストレージ・コンパートメント、タグ、競合するファイルを上書きするかスキップするかなどのプロパティを更新できます。その他の変更を行うには、リンクを削除し、新しいリンクを作成します。
- 拡張のクール・ダウン期間: オブジェクト・ストレージからのデータに対応するために、Lustreファイル・システムを拡張する必要がある場合があります。同じリソースの連続するLustreファイル・システム拡張ごとに6時間のクール・ダウンが適用されます。このクールダウン期間内に拡張リクエストを行うと、拒否されます。
- パフォーマンスへの影響: オブジェクト・ストレージとLustreの間のファイル同期は帯域幅を消費し、同期プロセス中のLustreのパフォーマンスに若干影響する場合があります。
ベスト・プラクティス
- パスを一意に保持:オブジェクト・ストレージを作成する場合は、重複するパスを使用しないでください。この場合、Lustreディレクトリまたはオブジェクト・ストレージ・バケット・パスの一部は、同じファイル・システムの別のリンクですでに使用されています。リンクが重複すると、ディープ・コピーや望ましくないディレクトリ構造が発生する可能性があります。
たとえば、
/mnt/lustre/projectAをmybucket/projectAにリンクし、/mnt/lustre/projectBをmybucket/projectBにリンクします。リンクでは一意のLustreパスおよび一意のオブジェクト・ストレージ・バケット接頭辞が使用されるため、これは正しいです。reportsフォルダが2回マップされ、重複した同期、予期しないネストおよび競合が発生するため、/mnt/lustre/projectをmybucket/projectsおよび/mnt/lustre/project/reportsをmybucket/project/reportsにリンクしないでください。 - インポート・ジョブまたはエクスポート・ジョブが実行されていない場合のみファイルを変更:ファイルの内容がインポートまたはエクスポートされていないことが確実な場合にのみ更新します。同期ジョブの進行中にファイルを変更すると、ファイルが無視されたり上書きされたりするなどの予期しない結果が発生する可能性があります。
データ暗号化
- 転送中のデータ: LustreとObject Storageの間で転送されるすべてのデータは転送中に暗号化されます。
- 保存データ: インポートされたデータはブロック・ボリュームの暗号化を使用して保存時に暗号化され、Object StorageにエクスポートされたデータはObject Storageの暗号化メカニズムを使用します。