meta data stránky
  •  

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revizePředchozí verze
Následující verze		Předchozí verze
computing:cluster_kraken:navody:start [2021/12/10 22:42] – [Návody] Jan Pechcomputing:cluster_kraken:navody:start [2022/02/03 08:07] (aktuální) – odstraněno Jan Pech
Řádek 1: Řádek 1:
-~~NOTOC~~ 
  
-[[computing:cluster_kraken:start|{{:up1.png?direct|}}]] 
-[[computing:cluster_kraken:start|Cluster KRAKEN]] 
- 
-====== Návody ====== 
- 
-Na této stránce najdete návody pro práci se serverem kraken. Dozvíte se 
- 
-  * jak se k serveru přihlásit,  
-  * jak přenést soubory mezi serverem a vaším počítačem 
- 
-Prostředí modulů, frontového systému a spouštění vybraných programů jsou pod odkazy 
-  * [[computing:cluster_kraken:navody:moduly|moduly]] 
-  * [[computing:cluster_kraken:navody:systém front|základní příkazy frontového systému SLURM]] 
-  * jak připravit skript úlohy 
-    * pro vlastní program nebo program dostupný v modulu 
-    * [[computing:cluster_kraken:navody:Abaqus|Abaqus]] 
-    * [[computing:cluster_kraken:navody:Ansys|Fluent (ANSYS)]] 
-    * [[computing:cluster_kraken:navody:Comsol|Comsol]] 
-    * [[computing:cluster_kraken:navody:OPENFoam|OPENFoam]] 
- 
-===== Přihlášení k serveru ===== 
-Se zavedením systému front (SLURM) **dochází ke změně způsobu přihlašování**, to bude do budoucna možné jen přes administrativní uzel **"kraken"**. 
- 
-Výpočetní část clusteru je rozdělena do dvou bloků, dle použitých procesorů (část "Low Core" **není** přístupná všem uživatelům): 
-=== Low Core === 
-kraken-L1 - kraken-L4 
- 
-=== MultiCore === 
-kraken-M1 - kraken-M9 
- 
-\\ 
----- 
- 
-Pro komunikaci se serverem kraken se používá protokol SSH.  
-Na svém počítači musíte mít nainstalovaný program (SSH klient), umožňující komunikaci v tomto protokolu. 
- 
-=== Linux === 
- 
-V Linuxu je obvykle SSH klient součástí instalace. 
-Přihlášení k serveru provedeme v xterminálu pomocí příkazu: 
- 
-  ssh -Y uživatel@kraken 
-/,Parametr -Y můžete vynechat, pokud nepotřebujete přesměrování grafiky,/ 
- 
-**Stále je funkční také přihlašování k jednotlivým výpočetním uzlům, např.   ssh -Y uživatel@kraken-M1 , s koncem přechodového období ale bude přístup k výpočetním uzlům znemožněn, přístup bude jen přes administrativní uzel "kraken".** 
- 
- 
-=== Windows === 
- 
-Ve Windows není SSH klient součástí systému, proto je třeba použít samostatný program. 
-Doporučené je použít programy: 
-  * {{:computing:cluster:navody:ico_putty.png?direct |}}[[http://www.putty.org|PuTTY]] -- nejrozšířenější klient pro windows. <wrap download>{{:computing:cluster:navody:putty_068_32bit.exe.zip|32bit verze}}</wrap> <wrap download>{{:computing:cluster:navody:putty_068_64bit.exe.zip|64bit verze}}</wrap> 
- 
-  * {{:computing:cluster:navody:ico_kitty.png?direct |}}[[http://www.9bis.net/kitty/|KiTTY]] -- fork programu PuTTY s několika rozšířeními. <wrap download>{{:computing:cluster:navody:kitty.exe.zip|KiTTY}}</wrap> 
- 
-Pro spouštění grafických aplikací je nutné mít nainstalovaný X server. 
-  * {{:computing:cluster:navody:ico_x.png?direct |}}[[http://vcxsrv.sourceforge.net|VcXsrv Windows X Server]] -- open source verze X serveru dostupná ve verzi pro 32 i 64bitový systém. 
-    * pro Windows Vista, 7, 8.1 --   <wrap download>[[http://sourceforge.net/projects/vcxsrv/files/vcxsrv/|stáhněte nejnovější verzi]]</wrap> 
-    * pro Windows XP -- <wrap download>[[http://sourceforge.net/projects/vcxsrv/files/vcxsrv/1.14.2.1/|stáhněte verzi 1.4.2.1]]</wrap> 
- 
-<wrap info>Podrobný postup připojení</wrap> 
-  * [[:computing:cluster_kraken:návody:putty:|ze sítě ÚT]] 
-  * [[:computing:cluster_kraken:návody:putty_out:|mimo ÚT]]  
- 
- 
-===== Přenos souborů ===== 
- 
-Pro pohodlný přenos souborů mezi počítačem a serverem lze použít některý z následujících programů: 
- 
-  * {{:computing:cluster:navody:ico_scp.png?direct |}}[[:computing:cluster:návody:WinSCP:]] 
-  * {{:computing:cluster:navody:ico_far.png?direct |}}[[:computing:cluster:návody:FAR manager:]] 
-  * {{:computing:cluster:navody:ico_tc.png?direct |}}[[:computing:cluster:návody:TC:|Total Commander]] 
- 
- 
-===== Frontový systém SLURM (probíhá aktualizace) ===== 
- 
-Frontový systém pomáhá optimálnímu využití prostředků clusteru, přináší řadu nástrojů pro spouštění a správu běhu úloh i jejich paralelizaci. Správa front a úloh v nich je možná jedině na administratovním uzlu "kraken". 
- 
-Nejběžnějšími příkazy jsou: 
-  sinfo 
-//vypíše přehled front a jejich aktuální využití//  
- 
-  srun <volby> <spouštěný_program> <parametry_spouštěného_programu> 
-//klíčový příkaz pro zadání úlohy do fronty.// Pro paralelní úlohy nahrazuje zároveň příkaz "mpirun" (mpi knihovny v modulech proto ani příkaz mpirun nenabízí..). 
-  sbatch <script_file> 
-//zadání úlohy do fronty dle připraveného skriptu, viz příklady níže. Součástí skriptu bývá řádka s příkazem "srun".// Nejběžnější způsob pro zadávání úlohy do fronty je právě sbatch+skript. 
-  squeue 
-//vypíše přehled běžících úloh, vč. čísla úlohy ve frontě, uživatelského pojmenování, stavu (čekající/běh/...)// 
-  scancel <number> 
-//ukončí úlohu <number> zařazenou ve frontě// 
- 
-Na clusteru Kraken je k dispozici 6 front rozdělených dle délky běhu úlohy (express, short, long) a části clusteru: 
-^  name   ^  nodes  ^  length  ^ 
-|  Mexpress  |  M  |  6 hours (**default**) | 
-|  Mshort  |  :::  |  2 days  | 
-|  Mlong  |  :::  |  2 weeks  | 
-|  Lexpress  |  L  |  6 hours  | 
-|  Lshort  |  :::  |  2 days  | 
-|  Llong  |  :::  |  2 weeks  | 
- 
-Parametry pro //srun// resp. skript pro //sbatch// 
-^  option  ^  description  ^  example  ^ 
-|  -J, --job-name=<jobname>  |  Job name, shown e.g. in output of //squeue//  |  -J  
-|  --mail-type=<type>  |  Send email with BEGIN, END, FAIL, ALL,...  |  --mail-type=BEGIN,END 
-|  -n, --ntasks=<number>  |  Number of resources (~cores) to be allocated for the task  |  -n 50  | 
-|  -N, --nodes=<nodes>  |  Number of nodes to be used  |  -N 3  | 
-|  --ntasks-per-node=<ntasks>  |  Request that ntasks be invoked on each node  |    | 
-|  -o, --output=<filename_pattern>  |  Name of file where slurm will output  |  -o out.txt  | 
-|  -p, --partition=<partition_names>  |  Request a specific partition for the resource allocation  |  -p Mshort  | 
-|  -w, --nodelist=<node_name_list>  |  Request a specific list of hosts  |  -w kraken-m2,kraken-m[5-6]  | 
-|  -x, --exclude={<host1[,<host2>...]}  |  Request that a specific list of hosts not be included in the resources allocated to this job  |  --exclude=kraken-m[7-9]  | 
- 
-== Příklad: skript pro sbatch == 
-Všechny volby vypíšeme jako jeden příkaz //srun// 
-  srun -n 8 -N 2 HelloWorld 
-nebo připravíme soubor pro //sbatch//, např. muj_test_front.sh: 
- 
-  #!/bin/bash 
-  #SBATCH --job-name=test 
-  #SBATCH --output=output.txt 
-  # 
-  #SBATCH -n 7 
-  #SBATCH -N 3 
-  #SBATCH -p Mexpress 
-  #SBATCH --mail-type=ALL 
-  #SBATCH --mail-user=uzivatel@it.cas.cz 
-  module load HelloWorld 
-  cd ~/test_front 
-  srun HelloWorld 
- 
-Předání úlohy systému: 
-  sbatch muj_test_front.sh 
- 
-== Fluent (Ansys) == 
-Základní skript pro spuštění 2D úlohy v aplikaci Fluent (verze 2020 R1) ve frontě přes příkaz sbatch: 
-  #!/bin/bash 
-   
-  #SBATCH --job-name=fluent_test 
-  #SBATCH --output=slurm-%j.out 
-   
-  #SBATCH --partition=Mexpress 
-  #SBATCH --exclude=kraken-m[7-9] 
-  #SBATCH --ntasks=4 
-   
-  FLUENTNODES="$(scontrol show hostnames)" 
-  FLUENTNODES=$(echo $FLUENTNODES | tr ' ' ',') 
-   
-  /ansys_inc/v211/fluent/bin/fluent -ssh 2ddp -mpi=openmpi -slurm -t $SLURM_NTASKS -cnf=$FLUENTNODES -g -i my_journal_file.jou 
- 
-Vzhledem k nastavení licencí pro ANSYS není doporučeno úlohy dělit mezi více uzlů. Výpočetní uzly mají vzhledem k zakoupeným licencím dostatečný počet jader, rozdělení úlohy mezi více uzlů tak způsobí jen zpomalení výpočtu. 
- 
-**Aktuálně nelze kvůli speciálním požadavkům ANSYSu na nastavení SSH spouštět ANSYS přes fronty na strojích kraken-m7,...,kraken-m9 (proto #SBATCH --exclude=kraken-m[7-9]). Uživatele by ale toto dočasné nastavení nemělo omezovat.** 
-== Abaqus == 
-Běh na 5 jádrech v rámci 1 uzlu lze zadat skriptem pro "sbatch": 
- 
-  #!/bin/bash 
-   
-  #SBATCH --job-name=Abaqus_test 
-  #SBATCH --output=slurm_out.txt 
-  #SBATCH -N 1 
-  #SBATCH -n 5 
-   
-  /var/DassaultSystemes/SIMULIA/Commands/abaqus job=PLATE_HOLE.inp cpus=$SLURM_NTASKS 
-   
-== Comsol == 
-Comsol umí využít proměnné, které poskytuje SLURM, skript pro "sbatch" je proto poměrně jednoduchý. Jediná odlišnost je, že počet jader volíme pomocí proměnných "--nodes" a "--ntasks-per-node", proměnnou "--ntasks" si Comsol dopočítává sám. Rozdělení úlohy mezi více nodů výpočet značně zpomaluje, je proto doporučeno ponechat "--nodes=1". 
- 
-  #!/bin/bash 
-  #SBATCH --job-name=comsol_test 
-  #SBATCH --output=test.%j.output 
-  #SBATCH --error=test.%j.error 
-   
-  #SBATCH --nodes=1 
-  #SBATCH --ntasks-per-node=8 
-   
-  comsol batch -mpibootstrap slurm -inputfile in.mph -outputfile out.mph 
-   
-Více se lze dočíst zde: [[https://www.comsol.com/support/knowledgebase/1001|COMSOL]] 
-==== OpenFOAM ====