Apache Kafkaを使用したストリーミングの概念

Apache Kafkaを使用したOCIストリーミングでは、2種類のクラスタを作成できます。

スタータ・クラスタ

高可用性が重要な要件ではないテストおよび開発目的で設計されています。スタータ・クラスタは、クラスタが1から30のブローカを持つことができる柔軟なセットアップを提供します。

高可用性クラスタ

高可用性が不可欠な本番環境を対象としています。これらのクラスタは、冗長性とフォルト・トレランスを確保するために、複数の可用性ドメインまたはフォルト・ドメインに分散された少なくとも3つのブローカで構成されます。このクラスタは、最大30のブローカまでスケール・アップできるため、ミッションクリティカルなワークロードの信頼性と耐障害性を実現できます。

Kafkaクラスタの次のデフォルト・オプションを確認します。

接続性

デフォルトでは、すべてのKafkaクラスタはプライベート接続で作成され、クラスタの作成時に指定されたVCNおよびサブネット内からアクセスできます。If more VCNs need access to the Kafka cluster, configure VCN peering.

ブローカ・ディスク割当て

デフォルトでは、ブローカ・ディスク割当て制限は、安定性を確保し、ディスク・リソースの過剰使用を防ぐために適用されます。ブローカ・ディスクの容量が97%に達すると、プロデューサ操作はレート制限されますが、コンシューマ操作には影響がなく、想定どおりに機能し続けます。ブローカ・ディスクの容量が98%に達すると、すべてのプロデューサ操作がブロックされますが、コンシューマ操作では、中断することなくイベントの消費とオフセットのコミットを続行できます。このデフォルトの動作を変更し、クラスタ構成ファイルでカスタムストレージ割り当て制限を定義できます。

クラスタ構成ファイル

Kafkaクラスタを作成すると、クラスタ・タイプに応じて、クラスタ構成ファイルがデフォルトのプロパティで作成されます。プロパティ設定は、信頼性、耐久性および使いやすさのバランスを取るように設計されています。デフォルト・ファイルを使用するか、カスタム・ファイルを作成できます。構成可能プロパティおよび構成不可プロパティのリストは、クラスタ構成の管理を参照してください。

高可用性クラスター

allow.everyone.if.no.acl.found=true
auto.create.topics.enable=false
leader.imbalance.per.broker.percentage=1
default.replication.factor=3
offsets.topic.replication.factor=3
min.insync.replicas=2
transaction.state.log.min.isr=2
transaction.state.log.replication.factor=3

プロパティ	デフォルト値	目的
allow.everyone.if.no.acl.found	真	リソースのACLが見つからない場合、すべてのユーザーがクラスタにアクセスできます。
auto.create.topics.enable	誤り	トピックは自動的に作成されず、より適切に制御するために明示的に作成する必要があります。
leader.imbalance.per.broker.percentage	1	リバランスのためにブローカごとにリーダーの不均衡しきい値を制御します。
default.replication.factor	3	耐久性を高めるために、3つのレプリカで新しいトピックが作成されます。
offsets.topic.replication.factor	3	内部オフセット・トピックは、自己回復性のために3回レプリケートされます。
min.insync.replicas	2	少なくとも2つのレプリカは、永続性の書込みを確認する必要があります。
transaction.state.log.min.isr	2	トランザクション状態ログの最小同期レプリカ。
transaction.state.log.replication.factor	3	トランザクション状態ログのレプリケーション係数。

スターター・クラスタ

allow.everyone.if.no.acl.found=true
auto.create.topics.enable=false
leader.imbalance.per.broker.percentage=1
default.replication.factor=1
offsets.topic.replication.factor=1
min.insync.replicas=1
transaction.state.log.min.isr=1
transaction.state.log.replication.factor=1

プロパティ	デフォルト値	目的
allow.everyone.if.no.acl.found	真	リソースのACLが見つからない場合、すべてのユーザーがクラスタにアクセスできます。
auto.create.topics.enable	誤り	トピックは自動的に作成されず、より適切に制御するために明示的に作成する必要があります。
leader.imbalance.per.broker.percentage	1	リバランスのためにブローカごとにリーダーの不均衡しきい値を制御します。
default.replication.factor	1	1つのレプリカで新しいトピックが作成されます(冗長性なし)。
offsets.topic.replication.factor	1	内部オフセット・トピックには1つのレプリカがあります。
min.insync.replicas	1	書込みを確認する必要があるレプリカは1つのみです。
transaction.state.log.min.isr	1	トランザクション状態ログの最小同期レプリカ。
transaction.state.log.replication.factor	1	トランザクション状態ログのレプリケーション係数。

Apache Kafkaクラスタを使用したOCIストリーミングを最適化および最大限に活用するためのクラスタ・サイジング・ガイドラインを確認します。

自己管理型のApache Kafkaクラスタから、Apache Kafkaクラスタを使用したOCIストリーミングにデータを移行できます。

この移行ユースケースの推奨される解決策は、接続クラスタにMirrorMaker 2.0コネクタを作成することです。

security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
ssl.truststore.location=</path/to/truststore.jks>
ssl.truststore.password=<truststore-password>
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<username>" password="<password>";