文書の表示以前のリビジョンバックリンク文書の先頭へ この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。 ====== コンパイルによる導入 ====== ===== apt-get と異なる点 ===== * apt-getによる導入 では、サーバとノードでインストールするパッケージが異なった * コンパイルによる導入では、サーバとノードに同じものをインストールするが、それぞれの実行ファイルの起動の ON/OFF を制御することで、サーバとノードを分ける ===== 手順 ===== <note warning>Torque 6.0.1 on Ubuntu 14.04 でのインストール手順です</note> - ホスト名の設定\\ <code bash>$ sudoedit /etc/hosts</code> * 127.0.0.1 は localhost からホスト名に変更 * 127.0.1.1 はコメントアウト * ノードのホスト名も入れていく - パッケージを [[http://www.adaptivecomputing.com/products/open-source/torque/]] からダウンロード * ここでは、「torque-6.0.1-1456945733_daea91b.tar.gz」というファイル名でホームにダウンロードしたとする) - パッケージを展開\\ <code bash>$ tar axvf torque-6.0.1-1456945733_daea91b.tar.gz</code> - 必要なパッケージをインストール\\ <code bash>$ sudo apt-get install libssl-dev libboost-dev</code> - インストールのための設定\\ <code bash>$ cd torque-6.0.1-1456945733_daea91b $ ./configure --prefix=/usr/local --with-default-server=hoge</code> * ''--prefix'': インストール先 (今回は /usr/local 以下に bin や lib が展開するようにした) * ''--with-default-server'': サーバ名 (apt-get でインストールした際の /var/spool/torque/server_name の設定が不要になる) - コンパイル\\ <code bash>$ make</code> * マルチスレッド環境であれば、''-j'' オプションを付けてスレッド数を指定すると速くコンパイルできる - インストール (コンパイルしたものをインストール指定先にコピー)\\ <code bash>$ sudo make install</code> * 1〜6 の作業を行った場所が NFS で共有され、計算機の構成が同じ場合、別ノードでの作業は 1〜6 の作業を省略できる。その場合、別ノードにログインした後、cd で同じパスに移動し、''sudo make install'' するだけで良い。 * なお、/var/spool のパーミッションの設定などは自動で処理されている - ポートの設定 (/etc/services を編集する; 以下を追記する)\\ <code> pbs 15001/tcp pbs_mom 15002/tcp pbs_resmom 15003/tcp pbs_resmom 15003/udp pbs_sched 15004/tcp</code> - ライブラリの登録 * .bashrc や .zshrc に以下を追記\\ <code bash>export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH</code> - ライブラリの追加\\ <code>$ sudoedit /etc/ld.so.conf.d/torque.conf</code> * 内容\\ <code>/usr/local/lib</code> - ライブラリの適用 - <code bash>sudo ldconfig</code> - .bashrc や .zshrc を再読み込み * bash の場合\\ <code bash>$ source ~/.bashrc</code> * zsh の場合\\ <code bash>$ source ~/.zshrc</code> - デーモンの登録 * /etc/init.d 配下に Ubuntu パッケージでインストールされるスクリプトを配置する * ただし、実行パスを変更する * torque-mom については trqauthd も実行させる必要があるため、trqauthd の実行も加える * 以下の条件で配置する * サーバ側(サーバでもジョブを処理させる場合): torque-server, torque-mom, torque-scheduler を配置 * サーバ側 (サーバでジョブを処理させない場合): torque-server, torque-scheduler を配置 * ノード側: torque-mom を配置 * 編集済みのスクリプト * torque-server\\ <code bash torque-server> #! /bin/sh ### BEGIN INIT INFO # Provides: torque-server # Required-Start: $remote_fs $local_fs $named $network $time # Required-Stop: $remote_fs $local_fs $named $network # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: Start and stop the PBS server # Description: PBS is a versatile batch system for SMPs and clusters. # This script controls the server process. ### END INIT INFO PATH=/usr/sbin:/usr/bin:/sbin:/bin DAEMON=/usr/sbin/pbs_server NAME=torque-server DESC="Torque batch queue server" PIDFILE=/var/spool/torque/server_priv/server.lock test -x $DAEMON || exit 0 # Include torque defaults if available if [ -f /etc/default/torque-server ]; then . /etc/default/torque-server elif [ -f /etc/default/torque ]; then . /etc/default/torque fi # Load lsb functions . /lib/lsb/init-functions case "$1" in start) log_daemon_msg "Starting $DESC" if [ ! -r /var/spool/torque/server_priv/serverdb ]; then DAEMON_SERVER_OPTS="-t create $DAEMON_SERVER_OPTS" fi log_progress_msg "$NAME" start-stop-daemon --start --quiet --pidfile $PIDFILE \ --exec $DAEMON -- $DAEMON_SERVER_OPTS log_end_msg $? ;; stop) log_daemon_msg "Stopping $DESC" "$NAME" start-stop-daemon --stop --quiet --pidfile $PIDFILE \ --exec $DAEMON log_end_msg $? ;; reload|force-reload) log_daemon_msg "Reloading $DESC configuration files" "$NAME" start-stop-daemon --stop --signal 1 --quiet \ --pidfile $PIDFILE --exec $DAEMON log_end_msg $? ;; restart) $0 stop && sleep 2 && $0 start ;; *) N=/etc/init.d/`basename $0` echo "Usage: $N {start|stop|restart|reload|force-reload}" >&2 exit 1 ;; esac exit 0 </code> * torque-mom\\ <code bash torque-mom> #! /bin/sh ### BEGIN INIT INFO # Provides: torque-mom # Required-Start: $remote_fs $local_fs $named $network # Required-Stop: $remote_fs $local_fs $named $network # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: Start and stop the PBS Mom # Description: PBS is a versatile batch system for SMPs and clusters. # This script controls the mom process. ### END INIT INFO PATH=/usr/sbin:/usr/bin:/sbin:/bin DAEMON=/usr/sbin/pbs_mom NAME=torque-mom DESC="Torque Mom" PIDFILE=/var/spool/torque/mom_priv/mom.lock test -x $DAEMON || exit 0 # Include defaults if available if [ -f /etc/default/$NAME ] ; then . /etc/default/$NAME fi # Load lsb functions . /lib/lsb/init-functions case "$1" in start) log_daemon_msg "Starting $DESC" "$NAME" start-stop-daemon --start --quiet --pidfile $PIDFILE \ --exec $DAEMON -- $DAEMON_OPTS log_end_msg $? ;; stop) log_daemon_msg "Stopping $DESC" "$NAME" start-stop-daemon --stop --quiet --pidfile $PIDFILE \ --exec $DAEMON log_end_msg $? ;; reload|force-reload) log_daemon_msg "Reoading $DESC configuration files" "$NAME" start-stop-daemon --stop --signal 1 --quiet --pidfile $PIDFILE \ --exec $DAEMON log_end_msg $? ;; restart) log_daemon_msg "Restarting $DESC" "$NAME" start-stop-daemon --stop --quiet --pidfile $PIDFILE \ --exec $DAEMON sleep 1 start-stop-daemon --start --quiet --pidfile $PIDFILE \ --exec $DAEMON -- $DAEMON_OPTS log_end_msg $? ;; *) N=/etc/init.d/$NAME log_action_msg "Usage: /etc/init.d/torque-mom {start|stop|restart|reload|force-reload}" exit 2 ;; esac exit 0 </code> * torque-scheduler\\ <code bash torque-scheduler> #! /bin/sh ### BEGIN INIT INFO # Provides: torque-scheduler # Required-Start: $all # Required-Stop: $all # Should-Start: $all # Should-Stop: $all # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: Start and stop the Torque scheduler # Description: PBS is a versatile batch system for SMPs and clusters. # This script controls the scheduler. ### END INIT INFO PATH=/sbin:/bin:/usr/sbin:/usr/bin DAEMON=/usr/sbin/pbs_sched NAME=torque-scheduler DESC="Torque scheduler" PIDFILE=/var/spool/torque/sched_priv/sched.lock test -x $DAEMON || exit 0 # Include defaults if available if [ -f /etc/default/$NAME ] ; then . /etc/default/$NAME elif [ -f /etc/default/torque ]; then . /etc/default/torque fi # set -e cannot work, otherwise the log_end_msg will not be shown # set -e # Load lsb functions . /lib/lsb/init-functions case "$1" in start) log_begin_msg "Starting $DESC: " start-stop-daemon --start --quiet \ --pidfile $PIDFILE \ --exec $DAEMON -- $DAEMON_OPTS log_end_msg $? ;; stop) log_begin_msg "Stopping $DESC: " start-stop-daemon --stop --quiet \ --pidfile $PIDFILE \ --exec $DAEMON log_end_msg $? ;; reload) # send a SIGHUP to force scheduler to reload config file log_begin_msg "Reloading $DESC configuration files" start-stop-daemon --stop --signal 1 --quiet \ --pidfile $PIDFILE \ --exec $DAEMON log_end_msg $? ;; force-reload) # check whether $DAEMON is running. If so, restart start-stop-daemon --stop --test --quiet \ --pidfile $PIDFILE \ --exec $DAEMON \ && $0 restart \ || exit 0 ;; restart) log_begin_msg "Restarting $DESC: " start-stop-daemon --stop --quiet \ --pidfile $PIDFILE \ --exec $DAEMON sleep 1 start-stop-daemon --start --quiet \ --pidfile $PIDFILE \ --exec $DAEMON -- $DAEMON_OPTS log_end_msg $? ;; *) N=/etc/init.d/`basename $0` log_success_msg "Usage: $N {start|stop|restart|force-reload}" exit 1 ;; esac exit 0 </code> - 計算機起動時に起動するように設定\\ <code bash>$ sudo apt-get install sysv-rc-conf $ cd /etc/init.d $ sudo sysv-rc-conf 起動させたいスクリプト on </code> * 以下の条件で起動させたいスクリプトを on にする * サーバ側(サーバでもジョブを処理させる場合): torque-server, torque-mom, torque-scheduler * サーバ側 (サーバでジョブを処理させない場合): torque-server, torque-scheduler * ノード側: torque-mom - [[分子シミュレーション関連/環境構築/Torque (旧PBS)/サーバの設定|サーバの設定]] ===== GPUノードでの手順 ===== * [[#手順]] の 5 の configure が異なる - nvml のために、CUDA の他に GPU develop kit を [[https://developer.nvidia.com/gpu-deployment-kit | GPU Deployment Kit | NVIDIA Developer]] からダウンロード - GPU develop kit のインストール\\ <code bash>$ chmod +x linux_amd64_352_79_release.run $ sudo ./linux_amd64_352_79_release.run</code> - コンパイル情報のクリア\\ <code bash>$ cd torque-6.0.1-1456945733_daea91b $ make distclean</code> - インストールのための設定\\ <code bash>$ ./configure --prefix=/usr/local --with-default-server=hoge --enable-nvidia-gpus --with-nvml-include=/usr/include/nvidia/gdk --with-nvml-lib=/usr/lib/x86_64-linux-gnu --with-hwloc-path=/usr/include</code> * ''--prefix'': インストール先 (今回は /usr/local 以下に bin や lib が展開するようにした) * ''--with-default-server'': サーバ名 (apt-get でインストールした際の /var/spool/torque/server_name の設定が不要になる) * ''--enable-nvidia-gpus'': torque-mom で GPU を使うノード * ''--with-nvml-include'': nvml のインクルードファイルのあるディレクトリのパス * ''--with-nvml-lib'': nvml のライブラリファイルのあるディレクトリのパス * ''--with-hwloc-path'': hwloc のあるディレクトリのパス - [[#手順]] の 6 以降の作業を GPU ノードで実行 ===== 参考サイト ===== * Torque のインストール\\ [[http://www.cr.ie.u-ryukyu.ac.jp/~game/pukiwiki/index.php?Torque | Torque - Game Lab -PukiWiki-]] * マシン起動時のスクリプト起動\\ [[http://mower.hateblo.jp/entry/2015/05/08/111025 | 【Ubuntu】OS起動時に自作スクリプトを動かす - ムーワァとデーヴァの私生活]] * Torque インストール時のエラー\\ [[http://chenmingzhang.blogspot.jp/2015/01/setup-torquemaui-system.html | some tips on learning linux/bsd/solaris: Setup torque/maui system _debug the system]] * GPU ノードでのインストール\\ [[http://docs.adaptivecomputing.com/torque/4-0-2/Content/topics/3-nodes/NVIDIAGPGPUs.htm | TORQUE NVIDIA GPGPUs]] {{tag>Linux サーバ 分子シミュレーション}} 分子シミュレーション関連/環境構築/torque_旧pbs/コンパイルによる導入.txt 最終更新: 2017/03/28 17:50by mumeiyamibito