Apache Iceberg表の問合せ

• Unity Native Iceberg(REST): サポートされていません。

  回避策: Delta + UniFormを使用して、Unity CatalogのIceberg RESTエンドポイントを介してIceberg読取り可能なビューを公開します。

• 動作保証されたRESTカタログ: ADBは、Iceberg読取りアクセス用にSnowflake PolarisおよびDatabricks Unity Catalog (UniFormのみ)で動作保証されています。

• カタログ資格証明の自動販売: サポートされません。

  自動ロール仮定やSTSによって発行された一時資格証明など、クラウドネイティブのロールベースの自動販売はサポートされていません。明示的なアクセス/秘密鍵または静的トークンを使用します。)

• AWS ARN資格証明: サポートされません。IAMロールARNおよびARN経由のAssumeRoleは受け入れられません。

• パーティション化されたIceberg表はサポートされていません。非パーティション表のみが許可されます。
• 行レベルの更新(読取りマージ):サポートされません。Icebergメタデータがファイルの削除を参照している場合、問合せは失敗します。

• 固定外部表のスキーマは作成で決定され、メタデータ内のIcebergスキーマ・バージョンと一致する必要があります。Icebergスキーマが更新された場合は、外部表を再作成する必要があります。

• 問合せ時移動なし:スナップショット、バージョンまたはタイムスタンプによる問合せはサポートされていません。
• Non_catalogのみ:新しいスナップショットは自動的に選択されません。特定のスナップショットを読み取るには、そのスナップショットのmetadata.jsonをターゲットにし、外部表を再作成します。

• 資格証明の位置合せ: AWS S3およびAWS Glueには、同じ資格証明を使用する必要があります。
• リージョンの共同配置: S3バケットとAWS Glueカタログは同じAWSリージョンにある必要があります。

• Icebergクライアントが読み取ることができるように、UniFormで作成されたDelta表。
• Azure ADLS Gen2またはAWS S3の表ファイル。
• 外部アクセス用のUnityカタログ権限(外部データ・アクセスの有効化など)。プリンシパルにEXTERNAL USE SCHEMAを付与します。
• 認証: OAuth2 (推奨)または個人アクセス・トークン(クイック・テスト用)。

USE CATALOG <your_catalog>;
USE SCHEMA  <your_schema>;

CREATE TABLE customers_iceberg (
  id   INT,
  name STRING
)
TBLPROPERTIES(
  'delta.columnMapping.mode'='name',
  'delta.enableIcebergCompatV2'='true',
  'delta.universalFormat.enabledFormats'='iceberg'
);

INSERT INTO customers_iceberg (id, name) VALUES
  (1,'Alice'), (2,'Bob'), (3,'Carol');

BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('AZURE_BLOB_CRED'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'AZURE_BLOB_CRED',
    username        => '<storage-account-or-sas-username>',
    password        => '<storage-key-or-sas-token>'
  );
END;
/

-- Databricks service principal (client_id / client_secret)
BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('UNITY_OAUTH'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'UNITY_OAUTH',
    username        => '<client_id>',
    password        => '<client_secret>'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_ICEBERG',
    credential_name => 'AZURE_BLOB_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "unity",
          "rest_catalog_endpoint": "https://<workspace-host>/api/2.1/unity-catalog/iceberg",
          "rest_authentication": {
            "rest_auth_cred": "UNITY_OAUTH",
            "rest_auth_endpoint": "https://<workspace-host>/oidc/v1/token"
          },
          "table_path": ["<your_catalog>","<your_schema>","customers_iceberg"]
        }
      }
    }'
  );
END;
/
SELECT COUNT(*) FROM CUSTOMERS_ICEBERG;

BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('UNITY_PAT'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'UNITY_PAT',
    username        => 'token',
    password        => '<dapiXXXXXXXXXXXXXXXXXXXXXXXX>'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_ICEBERG',
    credential_name => 'AZURE_BLOB_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "unity",
          "rest_catalog_endpoint": "https://<workspace-host>/api/2.1/unity-catalog/iceberg",
          "rest_authentication": { "rest_auth_cred": "UNITY_PAT" },
          "table_path": ["<your_catalog>","<your_schema>","customers_iceberg"]
        }
      }
    }'
  );
END;
/
SELECT COUNT(*) FROM CUSTOMERS_ICEBERG;

• Polaris Icebergのカタログとエンドポイントがアカウントで利用可能です。
• オブジェクト・ストアでアクセス可能な表ファイル(該当する場合はS3/ADLS)。
• 認証: OAuth2推奨(クライアント資格証明)または別のPolarisでサポートされているトークン・メカニズム。

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'SALES_POLARIS',
    credential_name => 'S3_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "polaris",
          "rest_catalog_endpoint": "<https://<your-polaris-endpoint>/...>",
          "rest_authentication": {
            "rest_auth_cred": "POLARIS_OAUTH",
            "rest_auth_endpoint": "<https://<your-oauth-token-endpoint>>"
          },
          "table_path": ["<db>","<schema>","<table>"]
        }
      }
    }'
  );
END;
/

SELECT COUNT(*) FROM SALES_POLARIS;

• Iceberg表が登録されているGlueデータ・カタログ(アクセス可能なS3オブジェクト)。

  Glueのリージョン名(us-east-1など)。

• 認証: S3のアクセス・キー/シークレット。カタログ構成を介した接着アクセス。

• AWS ARNによる資格情報の送信はサポートされていません。明示的な資格証明を指定する必要があります。

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'ORDERS_GLUE',
    credential_name => 'S3_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg",
        "protocol_config": {
          "iceberg_catalog_type": "aws_glue",
          "iceberg_glue_region": "us-east-1",
          "table_path": ["<database>","<table>"]
        }
      }
    }'
  );
END;
/

SELECT COUNT(*) FROM ORDERS_GLUE;

• 表のIcebergルート・マニフェスト(metadata.json)には、オブジェクト・ストア(ADLS/S3/OCI)でアクセスできます。
• このパスはポイントインタイムです。新しいスナップショットをたどるには、外部表を再作成します。

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_META',
    credential_name => 'STORE_CRED',
    file_uri_list   => 'https://<bucket-or-container>/<path>/metadata.json',
    format          => '{"access_protocol":{"protocol_type":"iceberg"}}'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim3',
    credential_name  => 'OCI_CRED',
    format           => '{
      "access_protocol": {
        "protocol_type": "iceberg",
        "protocol_config": {
          "iceberg_catalog_type": "hadoop",
          "iceberg_lakehouse": "https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg",
          "iceberg_table_path": "db.icebergTablePy"
        }
      }
    }'
  );
END;
/