差分

このページの2つのバージョン間の差分を表示します。

--- 分子シミュレーション関連:環境構築:slurm [2019/03/01 20:37] – ["sinfo -N" でノードがダウンした状態になる] mumeiyamibito
+++ 分子シミュレーション関連:環境構築:slurm [2023/06/14 10:53] (現在) – [インストール方法] mumeiyamibito
@@ 行 2: / 行 2: @@
 ===== 概要 =====
   * Torque や Sun Grid Engine のようなジョブ管理ツール。
-  * 現状、ドキュメントは Torque の方が多く、Slurm は圧倒的にドキュメントが少なく、日本語ドキュメントはさらに少ない…。
+  * 現状、Slurm は Torque に比べ圧倒的にドキュメントが少なく、日本語ドキュメントはさらに少ない…。
   * Ubuntu のデフォルトリポジトリには登録されている。
@@ 行 10: / 行 10: @@
   * 参考サイト: [[https://slurm.schedmd.com/quickstart.html | Slurm Workload Manager]]
-===== インストール方法 =====
+===== 使い方 =====
-  * ここでは、Ubuntu 16.04 ベースで、ソースからコンパイルする方法を紹介する。
+==== ジョブの投入 ====
+  * torque と同じで、ジョブファイルを作成し、''sbatch'' コマンドにそのジョブファイルを与える。\\ <code bash>
+$ sbatch JOBFILE.sh
+</code>
+  * ジョブの制御は、コマンドオプションで指定するか、ジョブファイルの先頭に ''#SBATCH ...'' というコマンドを記述する。
+  * ジョブファイルの例:\\ <code bash job.sh>
+#!/bin/bash
+#SBATCH -p PARTITION
+#SBATCH -n 1
+#SBATCH -J "JOB_NAME"
+#SBATCH -o "LOG_FILE"
+JOB_COMMAND
+</code>
+    * ''-p'': ジョブを実行するパーティション名を指定
+    * ''-n'': ジョブに必要な CPU 数を指定
+    * ''-J'': ジョブ名を指定
+    * ''-o'': ログファイルを指定
+    * ''JOB_COMMAND'': 実行したいコマンド (シェルスクリプト)
+    * これらのコマンドは ''sbatch'' のコマンドオプションとしても機能する。
+    * 参考サイト: [[https://slurm.schedmd.com/sbatch.html | Slurm Workload Manager - sbatch]]
+==== ジョブの確認 ====
+  * ''squeue'' コマンドで確認する。
+  * ''squeue'' コマンドでは表示フォーマットを変更することもできる。フォーマットの変更は ''-o'' オプションで、C 言語の ''printf()'' のように指定する。
+    * ''%i'': ジョブ ID
+    * ''%j'': ジョブ名
+    * ''%t'': ジョブの状態
+    * ''%M'': ジョブ開始からの経過時間
+    * ''%P'': パーティション名
+    * ''%R'': 待機しているノードリストおよびジョブが進行しない理由
+    * ''%Z'': ジョブ実行ディレクトリ
+    * ''%o'': ジョブファイルパス
+    * 表示フォーマットの指定例:
+      * 標準: ''squeue -S i -o "%.8i %8j %2t %.10M %9P %R"''
+      * 標準+ディレクトリ: ''squeue -S i -o "%.8i %8j %2t %.10M %9P %16R %Z"''
+      * 標準+実行ファイル: ''squeue -S i -o "%.8i %8j %2t %.10M %9P %16R %o"''
+  * その他のオプション
+    * ''-S'': 特定のカラムでソート (ソート内容は表示フォーマットで指定)
+      * 例: ''-S i'' (''%i'' のジョブ ID でソート)
+==== ジョブ制御 ====
+  * 待機中のジョブを停止 (実行させないように) する\\ <code bash>
+$ scontrol hold JOBID
+</code>
+    * ''JOBID'': 停止させたいジョブ ID (スペースで区切って複数指定可)
+    * ジョブ投入時に、この状態にしたい場合は、''sbatch -H'' でジョブを投入する
+  * 上記の待機状態を解除する\\ <code bash>
+$ scontrol release JOBID
+</code>
+  * 実行中のジョブを停止 (一時停止) させる。\\ <code bash>
+$ sudo scontrol suspend JOBID
+</code>
+    * ''JOBID'': 実行中の停止させたいジョブ
+    * 管理者権限が必要となることに注意
+  * 上記の状態を解除する\\ <code bash>
+$ sudo scontrol resume JOBID
+</code>
+===== インストール方法 =====
+  * Ubuntu のリポジトリ (apt) からインストールする場合は、"[[https://in-neuro.hatenablog.com/entry/2020/03/07/150139 | コア数が多いマシンが手に入ったのでslurmで計算クラスターにする - in neuro]]" を参照。
+ * ここでは、Ubuntu 16.04 ベースで、ソースからコンパイルする方法を紹介する。
   - 認証システム munge をインストールする。\\ <code bash>
 $ sudo apt-get install libmunge-dev libmunge2 munge
@@ 行 22: / 行 84: @@
 $ sudo systemctl edit --system --full munge
 </code>
-    - ''ExecStart=/usr/sbin/munged'' を ''ExecStart=/usr/sbin/munged --syslog'' にする。
+    - ''ExecStart=/usr/sbin/munged'' を ''%%ExecStart=/usr/sbin/munged --syslog%%'' にする。
     - 再度インストールする。\\ <code bash>
 $ sudo apt-get install -f
@@ 行 93: / 行 155: @@
 ===== システムの設定 =====
+==== 一般マシン ====
   * マスターノード (master)、計算ノード (calc01, calc02, calc03) の例.\\ <code conf slurm.conf>
 ControlMachine=master
@@ 行 169: / 行 233: @@
        * GPU: [[https://slurm.schedmd.com/gres.html | Slurm Workload Manager]]
        * 割り込み: [[https://slurm.schedmd.com/preempt.html | Slurm Workload Manager]]
+==== GPU マシン ====
+  * 上記に加えて、''gres.conf'' が必要。
+  * ''slurm.conf'' と同じディレクトリに入れておく。
+  * <code conf gres.conf>
+Name=gpu Type=pascal File=/dev/nvidia0 CPUs=0,1,2,3
+</code>
+    * ''Type'': GPU のアーキテクチャ名
+    * ''File'': GPU のデバイスファイルパス
+    * アーキテクチャ対応表: https://arnon.dk/matching-sm-architectures-arch-and-gencode-for-various-nvidia-cards/
 ===== トラブルシューティング =====