データ・カタログ・メタデータと同期することで、Autonomous Databaseは、データ・カタログによって収集された各論理エンティティの外部表を自動的に作成します。これらの外部表は、メタデータ同期プロセスによって完全に管理されるデータベース・スキーマで定義されます。ユーザーは、外部データ・ソースのスキーマ(列およびデータ型)を手動で導出し、外部表を手動で作成しなくても、すぐにデータを問い合せることができます。

同期は動的であるため、基礎となるデータに対する変更に関してAutonomous Databaseを最新の状態に保ち、数百から数千のテーブルを自動的に保守するため管理コストを削減できます。また、複数のAutonomous Databaseインスタンスで同じデータ・カタログを共有できるため、管理コストをさらに削減し、ビジネス定義の共通セットを提供できます。

データ・カタログのフォルダ/バケットは、Autonomous Databaseスキーマと同期するコンテナです。これらのフォルダ/バケット内の論理エンティティは、Autonomous Database外部表にマップされます。次のスキーマおよび外部表は、同期プロセスによって自動的に生成および保守されます。

• フォルダ/バケットは、組織目的のみのデータベース・スキーマにマップされます。
• 組織は、データレイクとの一貫性を保ち、異なるパスからデータにアクセスする際の混乱を最小限に抑えることを目的としています。
• データ・カタログは、スキーマ内に含まれる表の信頼できる情報源です。データ・カタログで行われた変更によって、後続の同期中にスキーマの表が更新されます。

この機能を使用するには、データベース・データ・カタログ管理者がデータ・カタログ・インスタンスへの接続を開始し、同期するデータ・アセットおよび論理エンティティを選択し、同期を実行します。同期プロセスでは、選択したデータ・カタログで収集されたデータ・アセットおよび論理エンティティに基づいてスキーマおよび外部表が作成されます。外部表が作成されるとすぐに、データ・アナリストは外部データ・ソースのスキーマを手動で導出して外部表を作成することなく、データの問合せを開始できます。

データ・カタログを使用した問合せには、次の概念を理解する必要があります。

データ・カタログ

データ・カタログは、Autonomous Databaseで問い合せるオブジェクト・ストア・データ・ソースを指すデータ・アセットを収集します。データ・カタログから、収集中のデータの編成方法を指定し、様々なファイル編成パターンをサポートできます。データ・カタログの収集プロセスの一環として、アセット内で管理するバケットおよびファイルを選択できます。詳細は、データ・カタログの概要を参照してください。

オブジェクト・ストア

オブジェクト・ストアには、様々なオブジェクトを含むバケットがあります。これらのバケットには、CSV、parquet、avro、jsonおよびORCファイルなどの一般的なタイプのオブジェクトがあります。通常、バケットには、含まれるオブジェクトに対する構造または設計パターンがあります。データの構造化には様々な方法があり、これらのパターンを解釈する様々な方法があります。

たとえば、一般的な設計パターンでは、表を表す最上位のフォルダを使用します。特定のフォルダ内のファイルは同じスキーマを共有し、その表のデータを含みます。サブフォルダは、多くの場合、表パーティション(各日のサブフォルダなど)を表すために使用されます。データ・カタログは、各トップレベル・フォルダを論理エンティティとして参照し、この論理エンティティはAutonomous Database外部表にマップします。

接続

接続は、データ・カタログ・インスタンスへのAutonomous Database接続です。Autonomous Databaseインスタンスごとに、複数のデータ・カタログ・インスタンスに接続できます。Autonomous Database資格証明には、オブジェクト・ストレージから収集されたデータ・カタログ・アセットにアクセスする権限が必要です。

収集

オブジェクト・ストレージをスキャンし、データ・セットから論理エンティティを生成するデータ・カタログ・プロセス。

データ・アセット

データ・カタログのデータ・アセットは、データベース、Oracle Object Storage、Kafkaなどを含むデータ・ソースを表します。Autonomous Databaseでは、メタデータ同期にOracle Object Storageアセットを利用します。

データ・エンティティ

データ・カタログのデータ・エンティティは、データベース表またはビューなどのデータの集合、または単一のファイルであり、通常はそのデータを記述する多くのの属性が含まれています。

論理的なエンティティ

データ・レイクでは、通常、多数のファイルが単一の論理エンティティで構成されています。たとえば、毎日のクリックストリーム・ファイルがあり、これらのファイルは同じスキーマとファイル・タイプを共有する場合があります。

データ・カタログ論理エンティティは、オブジェクト・ストレージ・ファイルのグループで、作成されてデータ・アセットに割り当てられているファイル名パターンを適用して収集中に導出されます。

データ・オブジェクト

データ・カタログのデータ・オブジェクトは、データ・アセットおよびデータ・エンティティを表します。

ファイル名パターン

データレイクでは、データは様々な方法で編成できます。通常、フォルダは同じスキーマおよびタイプのファイルを取得します。データの編成方法については、データ・カタログに登録する必要があります。ファイル名パターンは、データの編成方法を識別するために使用されます。データ・カタログでは、正規表現を使用してファイル名パターンを定義できます。データ・カタログがファイル名パターンが割り当てられたデータ・アセットを収集する場合、論理エンティティはファイル名パターンに基づいて作成されます。これらのパターンを定義してデータ・アセットに割り当てることで、ファイル名パターンに基づいて複数のファイルを論理エンティティとしてグループ化できます。

同期(同期)

Autonomous Databaseは、データ・カタログとの同期を実行して、基礎となるデータに対する変更に関してデータベースを自動的に最新の状態に保ちます。同期は、手動またはスケジュールで実行できます。

同期プロセスでは、データ・カタログのデータ・アセットおよび論理エンティティに基づいてスキーマおよび外部表が作成されます。これらのスキーマは保護されています。つまり、メタデータはデータ・カタログによって管理されます。メタデータを変更する場合は、データ・カタログで変更する必要があります。Autonomous Databaseスキーマには、次回の同期の実行後に変更が反映されます。詳細は、「同期マッピング」を参照してください。

同期プロセスでは、データ・カタログのデータ・アセット、フォルダ、論理エンティティ、属性および関連するカスタム・オーバーライドに基づいて、Autonomous Databaseスキーマおよび外部表が作成および更新されます。

データ・カタログを使用して問い合せるユーザーによって実行されるアクションの一般的なワークフローがあります。

select * from all_dcat_connections;

このシナリオでは、Moviestreamはオブジェクト・ストレージのランディング・ゾーンでデータを取得しています。このデータの多くは、必ずしもすべてではなく、Autonomous Databaseのフィードに使用されます。Autonomous Databaseにフィードする前に、データは変換、クレンジングされ、その後「ゴールド」領域に格納されます。

1. オブジェクト・ストア- バケット、フォルダおよびファイルのレビュー
   1. オブジェクト・ストア内のバケットをレビューします。
      たとえば、オブジェクト・ストレージのランディング(moviestream_landing)バケットとゴールド・ゾーン(moviestream_gold)バケットを次に示します。
   2. オブジェクト・ストア・バケット内のフォルダおよびファイルをレビューします。
      たとえば、オブジェクト・ストレージのランディング・バケット(moviestream_landing)内のフォルダを次に示します。
2. データ・カタログ- ファイル名パターンの作成
   1. ファイル名パターンを使用してデータがどのように編成されているかをデータ・カタログに通知します。これらは、ファイルの分類に使用される正規表現です。ファイル名パターンは、データ・カタログ・ハーベスタによって論理エンティティを導出するために使用されます。次の2つのファイル名パターンを使用して、MovieStreamの例でバケットを収集します。ファイル名パターンの作成の詳細は、論理データ・エンティティとしてのオブジェクト・ストレージ・ファイルの収集を参照してください。

      Hiveスタイル	フォルダ・スタイル
      {bucketName:.*}/{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*	{bucketName:[\w]+}/{logicalEntity:[^/]+}(?<!.db)/.*$
      オブジェクト名の最初の部分として".db"を含むソースの論理エンティティを作成します。 バケット内で一意性を確保するために、結果の名前は(db-name)。(フォルダ名)です	ルート以外のフォルダ名に基づいて論理エンティティを作成します。 Hiveとの重複を防ぐために、.dbを含むオブジェクト名はスキップされます。

   2. ファイル名パターンを作成するには、データ・カタログの「ファイル名パターン」タブに移動し、「ファイル名パターンの作成」をクリックします。たとえば、moviestreamデータ・カタログの「ファイル名パターンの作成」タブを次に示します。
3. データ・カタログ- データ・アセットの作成
   1. オブジェクト・ストアからデータを収集するために使用するデータ・アセットを作成します。
      たとえば、phoenixObjStoreという名前のデータ・アセットがmoviestreamデータ・カタログに作成されます。
   2. データ・アセットへの接続を追加します。
      この例では、データ・アセットは、moviestreamオブジェクト・ストレージ・リソースのコンパートメントに接続します。
   3. 次に、ファイル名パターンをデータ・アセットに関連付けます。「ファイル名パターンの割当て」を選択し、目的のパターンを確認して「割当て」をクリックします。
      たとえば、phoenixObjStoreデータ・アセットに割り当てられたパターンは次のとおりです:
      図assign_filename_patterns_v1.pngの説明
4. データ・カタログ- オブジェクト・ストアからのデータの収集
   1. データ・カタログ・データ・アセットの収集。ソース・データを含むオブジェクト・ストア・バケットを選択します。
      この例では、オブジェクト・ストアのmoviestream_goldおよび moviestream_landingバケットが収集用に選択されています。
   2. ジョブの実行後、論理エンティティが表示されます。「データ・アセットの参照」を使用して確認します。
      この例では、customer-extension論理エンティティとその属性を確認します。

      用語集がある場合、データ・カタログでは、エンティティとその属性に関連付けるカテゴリおよび用語を推奨します。これにより、品目のビジネス・コンテキストが提供されます。スキーマ、表および列は、よくわかりません。

      この例では、様々なタイプのバケットとその内容の意味を区別します。

      • 着陸地点とは?
      • データはどのくらい正確ですか?
      • 最終更新日
      • 論理エンティティまたはその属性の定義
5. Autonomous Database - データ・カタログへの接続

   Autonomous Databaseをデータ・カタログに接続します。接続に使用する資格証明が、データ・カタログ・アセットへのアクセスを許可されたOCIプリンシパルを使用していることを確認する必要があります。詳細は、データ・カタログ・ポリシーおよびポリシーおよびロールの構成によるクラウド・リソースへのアクセスを参照してください。

   1. データ・カタログへの接続

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.iad.aaaaaaaardp66bg....twiq'
      define dcat_region='us-ashburn-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. データ・カタログをAutonomous Databaseと同期します。ここでは、すべてのオブジェクト・ストレージ・アセットを同期します。

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - オブジェクト・ストアに対する問合せの実行を開始します。

      -- Query the Data !
      select *from dcat$phoenixobjstore_moviestream_gold.genre
      ;

6. オブジェクトのスキーマの変更

   デフォルトのスキーマ名はかなり複雑です。データ・カタログでアセットとフォルダのOracle-Db-Schemaカスタム属性の両方を指定することで、これらを簡略化します。データ・アセットをPHXに変更し、フォルダをそれぞれlandingおよびgoldに変更します。スキーマは2つの連結です。

   1. データ・カタログから、moviestream_landingバケットに移動し、アセットをそれぞれlandingおよびgoldに変更します。

      変更の前:

      変更後の作業:

   2. 別の同期を実行します。

このシナリオでは、オブジェクト・ストアのパーティション・データから収集されたデータ・カタログ論理エンティティに基づいて、Autonomous Databaseで外部表を作成する方法を示します。

1. オブジェクト・ストア- バケット、フォルダおよびファイルのレビュー
   1. オブジェクト・ストア内のバケットをレビューします。
      たとえば、オブジェクト・ストレージのランディング(moviestream_landing)バケットとゴールド・ゾーン(moviestream_gold)バケットを次に示します。
   2. オブジェクト・ストア・バケット内のフォルダおよびファイルをレビューします。
      たとえば、オブジェクト・ストレージのランディング・バケット(moviestream_landing)内のフォルダを次に示します。
2. データ・カタログ- ファイル名パターンの作成
   1. ファイル名パターンを使用してデータがどのように編成されているかをデータ・カタログに通知します。これらは、ファイルの分類に使用されるフォルダ接頭辞または正規表現です。ファイル名パターンは、データ・カタログ・ハーベスタによって論理エンティティを導出するために使用されます。フォルダ接頭辞を指定すると、データ・カタログは、オブジェクト・ストアの指定されたフォルダ接頭辞から論理エンティティを自動的に生成します。次のファイル名パターンを使用して、MovieStreamの例でバケットを収集します。ファイル名パターンの作成の詳細は、論理データ・エンティティとしてのオブジェクト・ストレージ・ファイルの収集を参照してください。

      フォルダ接頭辞	摘要
      workshop.db/	オブジェクト・ストアにworkshop.dbパスを含むソースの論理エンティティを作成します。

   2. ファイル名パターンを作成するには、データ・カタログの「ファイル名パターン」タブに移動し、「ファイル名パターンの作成」をクリックします。たとえば、moviestreamデータ・カタログの「ファイル名パターンの作成」タブを次に示します。
3. データ・カタログ- データ・アセットの作成
   1. オブジェクト・ストアからデータを収集するために使用するデータ・アセットを作成します。
      たとえば、amsterdamObjStoreという名前のデータ・アセットがmoviestreamデータ・カタログに作成されます。
   2. データ・アセットへの接続を追加します。
      この例では、データ・アセットは、moviestreamオブジェクト・ストレージ・リソースのコンパートメントに接続します。
   3. 次に、ファイル名パターンをデータ・アセットに関連付けます。「ファイル名パターンの割当て」を選択し、目的のパターンを確認して「割当て」をクリックします。
      たとえば、amsterdamObjStoreデータ・アセットに割り当てられたパターンを次に示します。
4. データ・カタログ- オブジェクト・ストアからのデータの収集
   1. データ・カタログ・データ・アセットの収集。ソース・データを含むオブジェクト・ストア・バケットを選択します。
      この例では、オブジェクト・ストアのmoviestream_goldおよび moviestream_landingバケットが収集用に選択されています。
   2. ジョブの実行後、論理エンティティが表示されます。「データ・アセットの参照」を使用して確認します。
      この例では、sales_sample_parquet論理エンティティとその属性を確認します。データ・カタログでは、month属性がパーティション化されていることがわかっています。
5. Autonomous Database - データ・カタログへの接続

   Autonomous Databaseをデータ・カタログに接続します。接続に使用する資格証明が、データ・カタログ・アセットへのアクセスを許可されたOCIプリンシパルを使用していることを確認する必要があります。詳細は、データ・カタログ・ポリシーおよびポリシーおよびロールの構成によるクラウド・リソースへのアクセスを参照してください。

   1. データ・カタログへの接続

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.eu-amsterdam-1....leguurn3dmqa'
      define dcat_region='eu-amsterdam-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. データ・カタログをAutonomous Databaseと同期します。ここでは、すべてのオブジェクト・ストレージ・アセットを同期します。

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - オブジェクト・ストアに対する問合せの実行を開始します。

      -- Query the Data !
      select count(*) from DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING.SALES_SAMPLE_PARQUET;
      
      -- Examine the generated partitioned table
      select dbms_metadata.get_ddl('TABLE','SALES_SAMPLE_PARQUET','DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING') from dual;
      
      CREATE TABLE "DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING"."SALES_SAMPLE_PARQUET"
      (    "MONTH" VARCHAR2(4000) COLLATE "USING_NLS_COMP",
           "DAY_ID" TIMESTAMP (6),
           "GENRE_ID" NUMBER(20,0),
           "MOVIE_ID" NUMBER(20,0),
           "CUST_ID" NUMBER(20,0),
      ...
      )  DEFAULT COLLATION "USING_NLS_COMP"
      ORGANIZATION EXTERNAL
       ( TYPE ORACLE_BIGDATA
         ACCESS PARAMETERS
         ( com.oracle.bigdata.fileformat=parquet
           com.oracle.bigdata.filename.columns=["MONTH"]
           com.oracle.bigdata.file_uri_list="https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/*"
      ...
         )
       )
      REJECT LIMIT 0
      PARTITION BY LIST ("MONTH")
      (PARTITION "P1"  VALUES (('2019-01'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-01/*'),
      PARTITION "P2"  VALUES (('2019-02'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-02/*'),
      ...PARTITION "P24"  VALUES (('2020-12'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2020-12/*'))
      PARALLEL

6. オブジェクトのスキーマの変更

   デフォルトのスキーマ名はかなり複雑です。データ・カタログでアセットとフォルダのOracle-Db-Schemaカスタム属性の両方を指定することで、これらを簡略化します。データ・アセットをPHXに変更し、フォルダをそれぞれlandingおよびgoldに変更します。スキーマは2つの連結です。

   1. データ・カタログから、moviestream_landingバケットに移動し、アセットをそれぞれlandingおよびgoldに変更します。

      変更の前:

      変更後の作業:

   2. 別の同期を実行します。