torque (旧OpenPBS)

文書の過去の版を表示しています。

計算機クラスターのジョブ管理スケジューラ
- 異なるジョブを逐次処理させたい場合に便利 (以下の条件の時とか？)
  - メモリや CPU を最大まで使うジョブが複数あり、同時に流すとリソースの取り合いになる。最悪の場合、計算機が落ちる。
  - コマンドラインで、 && とか ; で複数のジョブをつなげても実現できるけど、その後に追加のジョブが入った場合は？
  - ジョブの終了時間を予測し、マージンをとって、at コマンドで時間を指定してジョブを実行する方法もあるけど、マージン分の時間がもったいない。予測が外れたらリソースの取り合いになる。
- 要はプリンターの印刷状況画面のキュー (印刷データ) が、ジョブに置き換わっただけ。
- 別に計算機クラスターである必要はなく、自分の PC に入れても問題ない
Ubuntu (Debianも？)では、torque-server (サーバ用)、torque-scheduler (スケジューラ)、torque-mom (ノード用) の 3 つのパッケージで機能する
- スケジューラを変えるなどすることもあるようだ

インストール

サーバでもジョブを処理させる場合

$ sudo apt-get install torque-server torque-mom torque-client torque-scheduler

起動中の torque を終了させる
1. 起動中の torque を確認
```
$ ps -e | grep pbs
```
2. root 権限で終了させる (service コマンドの stop や kill) する
```
$ sudo service torque-mom stop
$ sudo service torque-scheduler stop
$ sudo service torque-server stop
```
  ※service コマンドで torque-server が終了しない場合
```
$ sudo kill 24277
```
  24277 は、pbs_server の PID で ps -e | grep pbs で確認する

設定ディレクトリの設定

$ sudo mkdir /var/spool/torque/server_priv
$ sudo chmod 777 /var/spool/torque/spool /var/spool/torque/undelivered
$ sudo chmod o+t /var/spool/torque/spool /var/spool/torque/undelivered

サーバ名の設定
```
$ sudoedit /etc/torque/server_name
```
ホスト名を入れる
新たにサーバプロファイルを作成 (このコマンドを実行すると torque_server が起動する)
```
$ sudo pbs_server -t create
```

ノードの設定

$ ps -e | grep pbs
$ sudo kill xxxxx
$ sudoedit /var/spool/torque/server_priv/nodes

中には ノード名 np=CPU数 を列挙していく

例:

server np=8
node1  np=4
node2  np=4
node3  np=2

ホスト名の設定
```
$ sudoedit /etc/hosts
```
- 127.0.0.1 は localhost からホスト名に変更
- 127.0.1.1 はコメントアウト
- ノードのホスト名も入れていく

サーバやキューの設定 (設定ファイルを読み込ませる)

$ sudo service torque-server start
$ sudo qmgr < queue.conf

設定ファイル (queue.conf) は以下の通り

queue.conf

#
# Create queues and set their attributes.
#
#
# Create and define queue F
#
create queue F
set queue F queue_type = Execution
set queue F resources_default.ncpus = 1
set queue F resources_default.nodes = 1
set queue F enabled = True
set queue F started = True
#
# Create and define queue Q2
#
create queue Q2
set queue Q2 queue_type = Execution
set queue Q2 max_running = 1
set queue Q2 resources_max.ncpus = 4
set queue Q2 resources_max.nodes = 1
set queue Q2 resources_default.ncpus = 1
set queue Q2 resources_default.nodes = 1
set queue Q2 resources_available.ncpus = 4
set queue Q2 resources_available.nodes = 1
set queue Q2 enabled = True
set queue Q2 started = True
#
# Create and define queue Q4
#
create queue Q4
set queue Q4 queue_type = Execution
set queue Q4 max_running = 1
set queue Q4 resources_max.ncpus = 4
set queue Q4 resources_max.nodes = 1
set queue Q4 resources_default.ncpus = 1
set queue Q4 resources_default.nodes = 1
set queue Q4 resources_available.ncpus = 4
set queue Q4 resources_available.nodes = 1
set queue Q4 enabled = True
set queue Q4 started = True
#
# Create and define queue Q1
#
create queue Q1
set queue Q1 queue_type = Execution
set queue Q1 max_running = 1
set queue Q1 resources_max.ncpus = 4
set queue Q1 resources_max.nodes = 1
set queue Q1 resources_default.ncpus = 1
set queue Q1 resources_default.nodes = 1
set queue Q1 resources_available.ncpus = 4
set queue Q1 resources_available.nodes = 1
set queue Q1 enabled = True
set queue Q1 started = True
#
# Create and define queue Q3
#
create queue Q3
set queue Q3 queue_type = Execution
set queue Q3 max_running = 1
set queue Q3 resources_max.ncpus = 4
set queue Q3 resources_max.nodes = 1
set queue Q3 resources_default.ncpus = 1
set queue Q3 resources_default.nodes = 1
set queue Q3 resources_available.ncpus = 4
set queue Q3 resources_available.nodes = 1
set queue Q3 enabled = True
set queue Q3 started = True
#
# Set server attributes.
#
set server scheduling = True
set server default_queue = F
set server log_events = 511
set server query_other_jobs = True
set server scheduler_iteration = 600
set server node_check_rate = 150
set server tcp_timeout = 6
set server node_pack = False
set server allow_node_submit = True

F: 制限がないキュー
Q1〜Q4: 1 ジョブしか流せないキュー

起動

$ sudo service torque-scheduler start
$ sudo service torque-mom start

サーバ名の確認
```
$ qstat -q
```
サーバの設定状況の確認
```
$ pbsnodes -a
```
テスト
```
$ echo "sleep 30" | qsub
$ qstat
```

インストール

$ sudo apt-get install torque-server torque-scheduler

インストール

$ sudo apt-get install torque-mom torque-client

ジョブ投入
```
$ qsub [オプション] ジョブファイル
```
```
Job id                    Name             User            Time Use S Queue
------------------------- ---------------- --------------- -------- - -----
760.servername            JOB_NAME1        hoge            311:35:2 R F              
762.servername            JOB_NAME2        hoge            165:50:2 R F              
860.servername            JOB_NAME3        fuga            03:03:40 R F              
```
- Job id: 投入順に番号が付けられる (job id を指定するコマンドでは、最初の数字だけで十分)
- Name: ジョブ名
  - qsub の -N オプションや、ジョブファイルの PBS -N で指定が可能
  - オプションなどで指定されていない場合は、ジョブファイル名の先頭から15文字が使われる
- User: ジョブを投入したユーザ名
- Time: ジョブ処理にかかっている時間 (複数の CPU を指定している場合は、CPU 数に合わせて倍になる)
- S: ステータス
  - R: Running (処理中)
  - Q: Queue (待機中)
  - H: Halt (保留中; ジョブの順番が回ってきても処理しない)
  - E: Exit (終了; ？)
  - T: 移行中(？)
  - W: 待機中(？)
- Queue: ジョブが所属しているキュー
ジョブ一覧
```
$ qstat [オプション]
```
ジョブ削除
```
$ qdel ジョブID ...
```
- ジョブIDは複数指定が可能
ジョブの順序の入れ替え
```
$ qorder ジョブID1 ジョブID2
```

例 (bash ベースの場合): \\

jobfile.sh

#!/bin/bash
#PBS -V
#PBS -l nodes=1:ppn=4
#PBS -j oe
#PBS -N jobname
 
cd ${PBS_O_WORKDIR}
 
実行コマンド
 :

set server … で始まる項目

項目	内容	デフォルト

キュー設定

set queue キュー名 … で始まる項目

項目	意味	値 (太字がデフォルト)
queue_type	キュータイプ	execution(e) or route®
resource_default.ncpus	デフォルトで指定されるCPU数
resources_default.nodes	でお風呂とで指定されるノード数
enabled	ジョブの受け入れ(このキューでのジョブ実行を許可するか)	true or false
started	ジョブを実行するか	true or false

TORQUEの導入・設定：tech.ckme.co.jp インストールなど
Queue attributes キューの設定

torque (旧OpenPBS)

概要

導入方法

サーバ側(サーバでもジョブを処理させる場合)

サーバ側 (サーバでジョブを処理させない場合)

ノード側

使い方

ジョブファイル

キューの設定項目

サーバ設定

キュー設定

参考サイト

無銘闇人の備忘録