ノートブック・セッションでのConda環境のインストール
ノートブック・セッションでconda環境を使用するには、それらをインストールする必要があります。
環境カードで「インストール」をクリックすると、データ・サイエンスまたは公開されたconda環境のいずれかをインストールできます。ターミナル・ウィンドウでコード・スニペットをコピーして実行できます。新しい環境は、/home/datascience/condaフォルダのブロック・ボリュームにインストールされます。/home/datascience/conda内のフォルダは、conda環境のslugsに対応します。
環境をノートブック・カーネルとして使用できるようになった後、新しい環境エントリが「環境エクスプローラ」タブの「インストールされたConda環境」タブにリストされます。次に、その特定のcda環境用の新しいカーネルが、JupyterLabの「ランチャ」タブの「ノートブック」カテゴリで使用可能になります。環境カーネル・アイコンをクリックして新しいタブを開き、新しいノートブック・ファイルを開くことで、そのconda環境で作業を開始できます。
または、「ファイル」をクリックし、「新規」を選択し、ノートブック・セッションのカーネルを選択することで、新しいノートブックを開くことができます。
インストールされたすべてのconda環境は
/home/datascienceのブロック・ボリュームに格納されるため、セッションがアクティブ化された後、これらの環境が使用可能になります。ノートブック・セッションを非アクティブ化した後、conda環境を再インストールする必要はありません。 JupyterLabターミナル・ウィンドウのタブでodsc condaコマンドを使用して、conda環境をインストールします:
odsc conda install --slug <slug><slug>は、インストールする環境のスラグです。スラグは、「環境エクスプローラ」タブの環境カードにリストされます。環境のバージョンを変更するようにプロンプトが表示されます(オプション)。新しいカーネルがJupyterLabの「ランチャ」タブに表示されるまで数分かかることがあります。
デフォルトでは、odsc condaは、<slug>値または<name>および<version>に一致するデータ・サイエンスconda環境を検索します。公開されたconda環境をホストしているオブジェクト・ストレージ・バケットをターゲットにするには、--overrideオプションを追加します。odsc conda initによって作成されたカスタムconfig.yamlファイルに定義されたバケット内のターゲットconda環境を検索します。例:
odsc conda install --override --slug <slug>odsc conda install -hを使用して、サポートされているすべてのインストール・オプションをリストします。
tarファイルを使用してConda環境をインストールすることもできます。tarファイルのURIを --uriオプションで指定します。ローカル・パス、PARリンクまたはOCIリンクを指定できます。
- ローカル・ファイルからのインストール:
-
odsc conda install --uri<path_to_the_local_environment_tar_file> - PARリンクを使用したインストール:
-
odsc conda install --uri<http_link_to_the_environment_tar_file> - リソース・プリンシパル認証を使用したOCIリンクを使用したインストール:
-
odsc conda install --uri<oci://my-bucket@my-namespace/path_to_tar_file>
ベース環境(Python 3)へのライブラリのインストールは、ノートブックの再アクティブ化後に永続化されないためお薦めしません。基本環境をクローニングし、そこにライブラリをインストールすることがベスト・プラクティスです。
PySpark Conda環境のアップグレード
これらのステップは、古いバージョンのPySpark conda環境をインストールし、将来使用できるように保存する場合にのみ必要です。古い環境が不要で、Sparkの特定の構成を作成していない場合は、新しいバージョンのインストールを続行する前に古い環境を削除することをお薦めします。
- PySpark conda環境の更新の準備:
- データ・サイエンス・ノートブック・セッションを開きます。
-
ホーム・ディレクトリで
spark_conf_dirディレクトリを検索し、その名前をspark_conf_dir_v2に変更します。名前変更アクションにより、pyspark32_p38_cpu_v2環境が一時的に無効になります。spark_conf_dir_v2の名前をspark_conf_dirに戻すと、pyspark32_p38_cpu_v2が再び動作可能になります。
- Pyspark conda環境の更新:
-
端末を開き、コマンドを実行します。
odsc conda install -s pyspark32_p38_cpu_v3このコマンドは、V3 conda環境をインストールし、新しい
spark_conf_dirディレクトリを作成します。
-
- 構成変更の確認:
-
core-site.xmlまたはspark-defaults.confの変更など、古いspark_conf_dir_v2構成にカスタム変更を加えた場合は、これらの変更が新しいspark_conf_dir_v2ディレクトリのそれぞれのファイルにコピーされていることを確認します。
-