Apache Oozieを使用したSparkジョブの実行
Apache Oozieを使用してSparkジョブを実行します
Apache Oozieは、パイプラインの一部として一連のアクションをトリガーするためにプロパティ・ファイルを使用するサービスです。Apache Hive、Spark、シェル・プログラムなどの様々なアクションをサポートしています。
HAクラスタと非HAクラスタの両方でSparkジョブを実行できます。すべてのジョブのプロパティ・ファイルは同じであり、クラスタの性質によってのみ異なります。Oozieは、ワークフローXMLを使用してワークフローを実行するためにHDFSにアクセスしようとしたときにアクセスします。このため、Oozieはネームサービスを使用してHA for HDFSをサポートします。そのため、これは、Sparkジョブを実行しているHAクラスタと非HAクラスタとの唯一の違いです。
詳細は、次を参照してください: