Apache Kafkaメトリックを使用したストリーミング

メトリックを使用すると、Apache Kafkaを使用して、OCIストリーミングのKafkaクラスタおよびエンドポイントを監視できます。

OCIモニタリング・サービスを使用して、カスタム問合せおよびアラームを作成し、これらのメトリックがアラーム指定トリガーを満たしたときに通知します。

独自のカスタム・ダッシュボードを使用してクライアント・メトリックをモニターすることをお薦めします。

使用可能なメトリック

ネームスペースはメトリックのコンテナです。Apache Kafkaを使用したOCIストリーミングのネームスペースはoci_kafkaです。

次のStreaming with Apache Kafkaメトリックを、次の3つのディメンションとともに使用します:

  • brokerId: Kafkaクラスタ・ブローカのID。
  • resourceId: KafkaクラスタのOCID。
  • resourceName: Kafkaクラスタの名前。
メトリック 単位 摘要
BrokerActiveControllerCount 件数 ブローカごとのアクティブなコントローラの数。常に1である必要があります。
BrokerAvailableDiskSpace パーセント 各ブローカで使用可能なディスク領域の割合。
BrokerBytesInTotal バイト ブローカの合計バイト数
BrokerBytesOutTotal バイト ブローカの合計バイト数
BrokerConnectionCountPerListener 件数 リスナー別のKafkaブローカへのアクティブな接続の合計数(PLAIINTEXTやSSLなど)。
BrokerCPUUsage パーセント 各ブローカの合計CPU使用率。
BrokerFailedFetchRequests 件数 ブローカがエラーを返したフェッチ・リクエストの累積数。クライアント側では読取り失敗を示しています。
BrokerFailedProduceRequests 件数 Kafkaブローカによって受信された失敗した生成(書込み)リクエストの合計数を追跡します。
BrokerMemoryUsed パーセント 各ブローカの合計ヒープ+非ヒープ・メモリー使用量。
BrokerNetworkProcessorAvgIdlePercentage パーセント 一定期間におけるKafkaネットワークI/Oスレッド(ネットワーク・プロセッサとも呼ばれる)の平均アイドル率。
BrokerOfflinePartitionsCount 件数 現在オフラインのブローカに割り当てられているパーティションの数。
BrokerOpenFileDescriptors 件数 ブローカでオープンされているファイル記述子の合計数。
BrokerRequestHandlerAvgIdlePercentage パーセント Kafkaリクエスト・ハンドラ・スレッドがアイドル状態である時間の平均割合を測定し、使用可能な処理能力を示します。
BrokerTotalFetchRequests 件数 ブローカが処理したすべてのフェッチ・リクエストの累積数。読取り側の全体的なトラフィック・ボリュームを反映します。
BrokerTotalIncomingMessages 件数 すべてのトピックおよびパーティションでKafkaブローカによって受信されたメッセージの合計数をカウントします。
BrokerTotalProduceRequests 件数 Kafkaブローカによって受信された生成(書込み)リクエストの合計数を追跡します。
BrokerUnderReplicatedPartitions 件数 ブローカでレプリケートされているパーティションの数を示します。

推奨

使用可能なメトリックの推奨事項を表示して、Kafkaクラスタの正常な操作を保証します。

これらのメトリックの値をモニターするには、アラームを作成する必要があります。

メトリック アラートしきい値推奨
BrokerCPUUsage

> 80% over 5 minutes

BrokerAvailableDiskSpace

< 20 GB

BrokerMemoryUsed

> 80%

BrokerActiveControllerCount

1

BrokerUnderReplicatedPartitions

> 0

BrokerOfflinePartitionsCount

> 0