Frontový systém SLURM

Frontový systém se stará o optimální využití clusteru, přináší řadu nástrojů pro zadávání úloh, jejich kontrolu a paralelizaci. Všechny úkony provádíme po přihlášení na administrativní uzel „kraken“ (ssh username@kraken).

Kompletní dokumentace je na adrese slurm.schedmd.com

K dispozici jsou 2 příkazy pro zařazení úlohy do fronty, srun a sbatch:

srun <parametry> <spouštěný_program> <parametry_spouštěného_programu>

Klíčový příkaz pro zadání úlohy do fronty. Pro paralelní úlohy nahrazuje příkaz „mpirun“ (mpi knihovny v modulech proto ani příkaz mpirun nenabízí..).
srun v této podobě vyžádá prostředky dle <parametry> a program na nich spustí. Spouštíte-li neparalelní úlohu, ponechte parametr -n 1 (výchozí), zvolíte-li vyšší hodnotu, neparalelní program se spustí n-krát!

sbatch <script_file>

Zadání úlohy do fronty dle připraveného skriptu, viz příklady níže. Součástí skriptu pro paralelní úlohy bývá řádka s příkazem „srun“ (komerční kódy bývají spouštěny bez srun, podobně jako kódy). Nejběžnější způsob pro zadávání úlohy do fronty je právě sbatch+skript.

sinfo

Vypíše přehled front a jejich aktuální využití.

squeue

Vypíše informace o běžících úlohách ve frontovém systému.

Význam zkratek ve výpisu squeue (kompletní přehled zde):

- ve sloupci „ST“ (status): R - running, PD - pending (čeká na alokaci výp. zdrojů), CG - completing (část procesů je dokončena, ale některé jsou stále aktivní),…

- ve sloupci REASON: Priority - ve frontě je/jsou úloha/y s vyšší prioritou, Dependency - úloha čeká na dokončení úlohy v závislosti a bude spuštěna poté, Resources - úloha čeká na uvolnění potřebných výp. zdrojů,…

scancel <number>

Ukončí úlohu <number> zařazenou ve frontě.

sacct

Vypíše informace o úlohách uživatele (včetně historie).

Seznam příkazů s parametry v PDF dokumentu.

Úlohy je možné spouštěn na více uzlech, ale vždy jen na jedné části serveru kraken:

• část M - stroje kraken-m1 až m10 (všichni uživatelé)
• část L - stroje kraken-l1 až l4 (omezený přístup)

Úlohy lze spouštět:

• přímo z řádky příkazem srun
• pomocí skriptu příkazem sbatch

• Úloha musí vždy běžet pod nějakou frontou (partition). Pokud není zadána žádná fronta, je použita Mexpress. Seznam definovaných front je uveden níže.
• Zadáním fronty je definován časový limit běhu.
• Úlohám ve frontách express a short nelze pomocí --time zadat delší dobu běhu. Defaultní čas front long je nastavený na 1 týden, ale umožňují běh až 2 týdny, např. 9 dní a 5 hodin zadáme „-p Llong --time=9-05:00:0“.
• Slurm při zařazení do fronty čekajících úloh upřednostní úlohu a uživatele, který cluster méně vytěžuje. Není proto výhodné deklarovat delší čas výpočtu, než je nezbytně nutné.

Na clusteru Kraken je k dispozici 6 front („partition“) rozdělených dle délky běhu úlohy (express, short, long) a části clusteru („Mxxx“ a „Lxxx“). Nespecifikuje-li uživatel frontu přepínačem --partition užije se defaultní hodnota (Mexpress):

*bold=default

Detaily nastavení lze zobrazit také příkazem

scontrol show partition [partition_name]

Běh programu se řídí pomocí parametrů. U příkazu srun se zadávají přímo do příkazové řádky, u příkazu sbatch se zapisují do spouštěcího skriptu. Ve skriptu je před každým parametrem zapsán identifikátor #SBATCH.

Volby můžeme zadávat ve dvou tvarech, buď plný tvar --ntasks=5 (dvě pomlčky a rovnítko) nebo zkráceně -n 5 (jedna pomlčka a mezera).

Do jmen souborů výstupu (output, error) lze začlenit proměnné jako jméno nodu (%N), číslo úlohy (%J), jméno uživatele (%u), apod… Výpis standardní chyby zadaný ve skriptu #SBATCH -e slurm.%N.%J.%u.err bude v souboru slurm.kraken-m123.12345.username.err

Začátek běhu nově zadávané úlohy lze podmínit např. dokončením úlohy již běžící sbatch –dependency=after:123456:+5 myjob.slurm, 123456 je zde číslo úlohy (dle výpisu squeue) a „+5“ značí prodlevu 5 minut od ukončení předchozí a započetí nové úlohy.

Kompletní seznam parametrů naleznete např. na stránce Slurm-sbatch.

V adresáři /home/SOFT/modules/HelloMPI/ najdete připravený zdrojový kód jednoduchého paralelního programu pro výpočet čísla π a skript pro jeho zadání do systému front SLURM. Po zkopírování do vlastního adresáře můžete zkoušet nastavení front v souboru slurm.sh i náročnost výpočtu resp. přesnost výsledku, tj. parametr n ve zdrojovém souboru pi.c .

Nejprve adresář zkopírujeme do našeho lokálního adresáře

cp -r /home/SOFT/modules/HelloMPI/ ./

do adresáře vstoupíme

cd HelloMPI

Adresář by měl obsahovat 2 soubory, zdrojový „pi.c“ a skript „slurm.sh“

ls

Ke kompilaci programu budeme potřebovat příkaz „mpicc“. Ten není dostupný ze systému, ale poskytne nám ho některý z modulů mpi knihoven (openmpi, mpich, intel-mpi, …), např.

ml openmpi

Po načtení modulu zvolené mpi knihovny máme k dispozici příkaz mpicc, s jehož pomocí program zkompilujeme

mpicc pi.c -o pi  

V adresáři se nám nyní objevil spustitelný soubor „pi“

ls

Program „pi“ zařadíme do fronty buď pomocí příkazu „srun“ nebo „sbatch <script>“:

Všechny volby vypíšeme jako jeden příkaz srun

srun -n 6 -N 2 pi

Slurm spustí program pi na 6 jádrech dvou nodů. POZOR: srun nahrazuje kvůli kompatibilitě s frontami SLURM v systému příkaz mpirun, který běžně poskytují samotné MPI knihovny, proto jsou mpi knihovny v modulech instalovány bez příkazu mpirun, ten není dostupný ani po načtení modulu! Pro běh paralelní úlohy je nutné použít příkaz srun.

Místo psaní příkazu srun a mnoha parametrů bývá výhodné použít

Přepínače pro srun lze mít sepsány v souboru, který předáme příkazu sbatch. Jen proměnné příslušející frontovému systému jsou uvedeny #SBATCH, jinak jde o příkazy pro příkazovou řádku.

Obsahem souboru „slurm.sh“ z adresáře HelloMPI je tak:

#!/bin/bash
#
#SBATCH --job-name=HelloMPI_Pi
#SBATCH --output=HelloMPI_Pi_log.txt 
#SBATCH -n 6
#SBATCH -N 2
srun pi

Předání úlohy systému:

sbatch slurm.sh

Úpravou souboru slurm.sh můžete volně testovat příkazy uvedené v tabulce výše.

Soubor pro sbatch může obsahovat i obecné příkazy pro příkazovou řádku. Rozšíříme-li předchozí:

.
.
.
#SBATCH -N 2
echo "PI: starts in folder"
pwd
srun pi
echo "PI:finished"
mkdir Folder2
cd Folder2
echo "PI-second run in folder"
pwd
srun ../pi
cd ../
ls  

Veškeré výpisy do příkazové řádky, jak samotného programu pi tak příkazů echo a pwd naleznete v souboru HelloMPI_Pi_log.txt, zadaném výše pomocí #SBATCH –output