Komerční programy (Ansys, Comsol,…) jsou přístupné ze systému, viz Dokumentace níže. Volně dostupné softwarové balíky, zejm. kompilátory, jsou instalovány i v různých verzích do modulů (Lmod). Kromě instalací ze zdrojového kódu je užívána bohatá databáze systému spack. Požadavky na instalaci volně dostupného software, správu modulů a frontového systému vyřizuje Jan Pech, 2 6605 3132.

Úlohy spouštíme výhradně přes systém front SLURM.

Základní postupy práce s moduly clusteru jsou popsány na stránce: moduly. Moduly využijete k volání programů (openfoam, paraview, lammps…), viz seznam níže, ale také k nastavení prostředí (kompilátor, mpi, …) pro kompilaci vlastních kódů.

Moduly jsou značeny ve tvaru jméno/verze[-verze_kompilátoru] a rozděleny do 3 sekcí dle architektury, pro kterou jsou optimalizované

• broadwell univerzální
• zen2, stroje kraken-m7,…,kraken-m9
• zen4, stroj kraken-m10 (na stroji m10 je operační systém Ubuntu 22.04)

linux-centos7-broadwell

 boost/1.59.0-5.5.0     gcc/10.3.0                      openmpi/4.0.5-5.5.0
 boost/1.76.0-10.3.0    intel-mpi/2019.10.317-18.0.2    openmpi/4.0.5-10.3.0
 cmake/3.20.6           mesa/21.2.1-10.3.0              paraview/5.9.0-10.3.0 
 emacs/27.1             metis/5.1.0-10.3.0              python/3.8.9-10.3.0
 ffmpeg/4.3.2-10.3.0    mpich/3.4.1-5.5.0               qt/5.15.2-10.3.0
 gcc/5.5.0              mpich/3.4.1-10.3.0              scotch/6.0.10-5.5.0
 gcc/7.5.0              nektar/5.0.0-5.5.0              zlib/1.2.11-5.5.0

linux-centos7-zen2

 boost/1.77.0-11.2.0        openmpi/4.1.1-11.2.0          py-six/1.15.0-11.2.0
 gcc/11.2.0                 py-numpy/1.21.2-11.2.0        python/3.8.11-11.2.0
 mpich/3.4.2-11.2.0         py-scipy/1.7.1-11.2.0

linux-ubuntu22.04-zen4

 boost/1.57.0-12.3.0    boost/1.83.0-12.3.0    fftw/3.3.10-12.3.0    metis/5.1.0-12.3.0      python/3.10.12-12.3.0    tinyxml/2.6.2-12.3.0
 boost/1.76.0-12.3.0    cmake/3.27.4           gcc/12.3.0            openmpi/4.0.7-12.3.0    scotch/7.0.3-12.3.0      zlib/1.3-12.3.0

Sekce free_modulefiles obsahuje programy se speciálně vytvořenými moduly (vše kompilováno pro architekturu broadwell)

 foam-extend/4.0-5.5.0        openfoam-org/8-10.3.0        solids4foam/4.0
 foam-extend/4.1-7.5.0        openfoam/2012-10.3.0         solids4foam/4.1 
 openfoam-org/6-10.3.0        paraview/5.6.0

ANSYS je aktuálně dostupný ve verzích 2021 R1, 2020 R1, 2019 R3, 19.0 a 17.2

Vstupní (journal) soubor výpočtu lze připravit buď lokálně a na cluster přenést, nebo ho vytvořit přímo na administrátorském uzlu „kraken“ přes vzdáleně spuštěné grafické rozhraní Ansysu, tj. workbench. Samotný výpočet je pak nutné zařadit do fronty.

Uživatelé Ansysu si po prvním přihlášení na cluster musí pod vlastním účtem nastavit nezaheslované SSH:

1. přihlaste se na cluster ssh uzivatel@kraken
2. příkazem ssh-keygen si vytvořte klíče pro ssh a ! nezadávejte žádné heslo
3. tyto klíče nakopírujte na všechny nody pomocí ssh-copy-id např. takto:

for i in {1..9}; do ssh-copy-id $USER@kraken-m$i; done

Pokud toto neuděláte, program se ve frontě spustí, ale nic nedělá. V takovém případě pak v logu objevíte výpis

Host key verification failed.
Error: It seems ssh is trying to verify authenticity of kraken-m.. Please resolve it and try again!

Podrobnější informace naleznete na stránkách:

• Ansys - přehled pro cluster Kraken
• spuštění Ansys (Fluent) ve frontě SLURM
• online stav licencí; login: ansys; heslo: 1dohens

Manual

Comsol je aktálně nainstalovaný ve verzi 5.5. Po přihlášení na cluster (ssh s aktivovaným grafickým rozhraním) lze z příkazové řádky spustit příkazem comsol. Spuštění úlohy ve frontovém systému je popsáno na stránce: fronty / Comsol

User Manual Graphical User Interface

Program je aktuálně nainstalovaný se součástmi: diffraction, dipole, extra-dump, extra-fix, extra-pair, fep, kspace, manybody, meam, misc, molecule, phonon, replica, rigid

v modulech:

• lammps/20230802-10.3.0 (univerzální)
• lammps/20230802-11.2.0 (optimalizace pro architekturu zen2, tj. uzly kraken-m[7-9]).

Na všech uzlech clusteru je dostupný Matlab ve verzi R2022b.

Zadání úlohy do fronty je popsáno na stránce fronty / Matlab.

Na administrativním uzlu Matlab spustíte jednoduše příkazem matlab.

online stav licencí; login: matlab; heslo: 1dohens

OpenFOAM je dostupný v několika verzích v modulech.

Postup spouštění OpenFOAM:

1. Vytvořte si složku pro OpenFOAM: mkdir -p $HOME/MyOpenFOAMFolder
2. Presuňte se do složky: cd $HOME/MyOpenFOAMFolder
3. Vytvořte si skript uloha.sh pro zadání úlohy do fronty, viz SLURM skript pro OPENFoam
4. Zadejte úlohu do fronty: sbatch uloha.sh

User Guide Programmer's Guide

Manual

Manual